会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
a56爆大奖在线娱乐的博客
a56爆大奖在线娱乐的园子
账号设置
简洁模式
...
退出登录
注册
登录
Hugging Face 博客
The AI community building the future.
博客园
首页
新随笔
联系
订阅
管理
2023年10月17日
Hugging Face 分词器新增聊天模板属性
摘要: 一个幽灵,格式不正确的幽灵,在聊天模型中游荡! 太长不看版 现存的聊天模型使用的训练数据格式各各不同,a56爆大奖在线娱乐们需要用这些格式将对话转换为单个字符串并传给分词器。如果a56爆大奖在线娱乐们在微调或推理时使用的格式与模型训练时使用的格式不同,通常会导致严重的、无声的性能下降,因此匹配训练期间使用的格式极其重要! Huggin
阅读全文
posted @ 2023-10-17 23:56 HuggingFace
阅读(719)
评论(0)
推荐(0)
编辑
公告