Transformers 中原生支持的量化方案概述

a56爆大奖在线娱乐旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。 目前，量化模型有两个主要的用途: 在较小的设备上进行大模型推理 对量化模型进行适配器微调 到目前为止，transformers 已经集成并 原生 支持了 bitsandbytes 和 aut
posted @ 2023-11-13 21:26  HuggingFace  阅读(937)  评论(0)  编辑  收藏  举报