2024年2月20日
使用 🤗 Optimum Intel 在英特尔至强上加速 StarCoder: Q8/Q4 及投机解码
摘要： 引言 近来，随着 BigCode 的 StarCoder 以及 Meta AI 的 Code Llama 等诸多先进模型的发布，代码生成模型变得炙手可热。同时，业界也涌现出了大量的致力于优化大语言模型 (LLM) 的运行速度及易用性的工作。a56爆大奖在线娱乐们很高兴能够分享a56爆大奖在线娱乐们在英特尔至强 CPU 上优化 LLM 阅读全文
posted @ 2024-02-20 21:14 HuggingFace 阅读(81) 评论(0) 推荐(0) 编辑