会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
a56爆大奖在线娱乐的博客
a56爆大奖在线娱乐的园子
账号设置
简洁模式
...
退出登录
注册
登录
Hugging Face 博客
The AI community building the future.
博客园
首页
新随笔
联系
订阅
管理
2023年11月24日
深入理解 BigBird 的块稀疏注意力
摘要: 引言 基于 transformer 的模型已被证明对很多 NLP 任务都非常有用。然而,\(O(n^2)\) 的时间和内存复杂度 (其中 \(n\) 是序列长度) 使得在长序列 (\(n > 512\)) 上应用它们变得非常昂贵,因而大大限制了其应用。最近的几篇论文,如 Longformer 、Pe
阅读全文
posted @ 2023-11-24 01:41 HuggingFace
阅读(433)
评论(0)
推荐(0)
编辑
公告