全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

Muir:带敏感度分配门控与匹配滤波读出的线性注意力

Linear attention compresses context into a fixed-size key-value state for linear-time training and constant-memory inference. Gated delta-rule models decay this state and erase its prediction for an incoming key before writing a new value; Gated DeltaNet-2 (GDN-2) generalizes this with channel-wise decay and decoupled,

阅读原文 · Tushaar Gangavarapu, Gil Tabak, Clemens JS Schaefer

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

线性注意力这两年一直在往“更聪明的状态更新”上卷。这篇 Muir 有意思的地方,是它没有直接堆参数,而是先分析 Gated DeltaNet-2 的状态更新到底哪里浪费了,再按这个诊断重新分配参数。 如果你在做长上下文、线性注意力或高效推理架构,这篇值得看。它把“擦除门和写入门不该同秩”讲得很具体,还给了一个能稳定训练的大 chunk 并行更新方案。 这篇论...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出