2023年2月16日
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
摘要： 概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch 阅读全文
posted @ 2023-02-16 12:13 HuggingFace 阅读(2726) 评论(0) 推荐(1) 编辑