2023年12月27日
Reformer 模型 - 突破语言建模的极限
摘要： Reformer 如何在不到 8GB 的内存上训练 50 万个词元 Kitaev、Kaiser 等人于 20202 年引入的 Reformer 模型 是迄今为止长序列建模领域内存效率最高的 transformer 模型之一。 最近，人们对长序列建模的兴趣激增，仅今年一年，就涌现出了大量的工作，如 B 阅读全文
posted @ 2023-12-27 22:53 HuggingFace 阅读(216) 评论(0) 推荐(0) 编辑