会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
a56爆大奖在线娱乐的博客
a56爆大奖在线娱乐的园子
账号设置
简洁模式
...
退出登录
注册
登录
Hugging Face 博客
The AI community building the future.
博客园
首页
新随笔
联系
订阅
管理
2023年11月13日
Transformers 中原生支持的量化方案概述
摘要: a56爆大奖在线娱乐旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述,以助于读者进行方案选择。 目前,量化模型有两个主要的用途: 在较小的设备上进行大模型推理 对量化模型进行适配器微调 到目前为止,transformers 已经集成并 原生 支持了 bitsandbytes 和 aut
阅读全文
posted @ 2023-11-13 21:26 HuggingFace
阅读(937)
评论(0)
推荐(2)
编辑
公告