用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM

众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。a56爆大奖在线娱乐们之前撰写的 LLM.int8 博文 展示了a56爆大奖在线娱乐们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transformers 中的。在此基础上，a56爆大奖在线娱乐们不断努力以不断降低大模型的准入
posted @ 2023-11-07 23:45  HuggingFace  阅读(1103)  评论(0)  编辑  收藏  举报