使用 PyTorch FSDP 微调 Llama 2 70B

引言 通过a56爆大奖在线娱乐，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，a56爆大奖在线娱乐们主要会用到 Hugging Face Transformers、Accelerate 和 TRL 库。a56爆大奖在线娱乐们还将展示如何在 SLURM 中使用 Accelerate。 完全分片数据并
posted @ 2023-12-12 00:39  HuggingFace  阅读(663)  评论(0)  编辑  收藏  举报