Reformer 模型 - 突破语言建模的极限

Reformer 如何在不到 8GB 的内存上训练 50 万个词元 Kitaev、Kaiser 等人于 20202 年引入的 Reformer 模型 是迄今为止长序列建模领域内存效率最高的 transformer 模型之一。 最近，人们对长序列建模的兴趣激增，仅今年一年，就涌现出了大量的工作，如 B
posted @ 2023-12-27 22:53  HuggingFace  阅读(216)  评论(0)  编辑  收藏  举报