摘要：
BERT 模型是 2018 年提出的，并在很多自然语言处理任务有前所未有的提升。因此 2019 年就有很多工作是围绕着 BERT 展开的，其中出现了两个 BERT 的改进版模型，RoBERTa 和 ALBERT。RoBERTa 在更大的数据集和最优的参数中训练 BERT，使 BERT 的性能再次提升 阅读全文
摘要：
https://zhuanlan.zhihu.com/p/210077100 最近在学习NLP常见的预训练模型，做一下整理和对比，按照时间线主要有： ELMO 2018.3 华盛顿大学 论文 / 代码 GPT 2018.06 OpenAI 论文 / 代码 BERT 2018.10 Google 论文 阅读全文