GETTING STARTED WITH DISTRIBUTED DATA PARALLE

PYTORCH并行训练。Author: Shen Li DistributedDataParallel (DDP) 分布式训练在模型层面实现数据并行。利用 torch.distributed包来同步梯度、参数和缓存。并行性在进程内和进程间都是可用的。在进程中，DDP将输入模块复制到device_id
posted @ 2020-04-18 12:33  三年一梦  阅读(481)  评论(0)  编辑  收藏  举报