全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

同策略变形为混合注意力模型

Hybrid attention models combine full and linear attention to achieve a better quality--efficiency trade-off. Converting pretrained Transformers into such models requires identifying which layers should retain full attention under a prescribed budget. We identify two off-policy mismatches in FlashMorph's layer selection

阅读原文 · Disen Lan, Xuanda Wang, Jianbin Zheng, Huafeng Kuang, Wei Tang, Yu Cheng

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

把已经训练好的 Transformer 改造成混合注意力模型,这是当前降低长上下文推理成本的一条现实路径。但改造过程中有个容易被忽略的环节:到底哪几层该保留 full attention。 这篇论文盯的就是这个“选层”问题。它指出 FlashMorph 这类已有方法存在两处 off-policy 偏差,然后提出 FlashMorph2 来修正。 如果你在做模...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出

分享海报

正在生成海报…

主题

字体

开源字体第一次使用时联网下载,只取海报上用到的字。