Bert不完全手册3. Bert训练策略优化！RoBERTa & SpanBERT

Bert提出了很好的双向LM训练和迁移框架，但它的训练方式槽点较多，这一章就训练方案改良，a56爆大奖在线娱乐们来聊聊RoBERTa和SpanBERT，看作者这两篇paper是一个组的作品，a56爆大奖在线娱乐存在一些共同点~。正在施工中的代码库也接入了这两种模型作为backbone，同时支持半监督，领域迁移，降噪loss，蒸馏等模型优化项，感兴趣的戳这里>>SimpleClassification
posted @ 2022-03-22 10:18  风雨中的小七  阅读(1175)  评论(0)  编辑  收藏  举报