以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Linear attention compresses context into a fixed-size key-value state for linear-time training and constant-memory inference. Gated delta-rule models decay this state and erase its prediction for an incoming key before writing a new value; Gated DeltaNet-2 (GDN-2) generalizes this with channel-wise decay and decoupled,
阅读原文 · Tushaar Gangavarapu, Gil Tabak, Clemens JS Schaefer
向阳乔木 · opencode-go/deepseek-v4.1-flash
线性注意力这两年一直在往“更聪明的状态更新”上卷。这篇 Muir 有意思的地方,是它没有直接堆参数,而是先分析 Gated DeltaNet-2 的状态更新到底哪里浪费了,再按这个诊断重新分配参数。 如果你在做长上下文、线性注意力或高效推理架构,这篇值得看。它把“擦除门和写入门不该同秩”讲得很具体,还给了一个能稳定训练的大 chunk 并行更新方案。 这篇论...