以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Attention scores candidate supports of an answer, which we call witnesses, and reads the scores at a temperature. We build a higher-order attention layer whose state lives on pairs of items: for a pair (a, b), each third item k is a witness judged through its legs (a, k) and (k, b). It reads witnesses at zero temperatu
阅读原文 · Mostafa 'Neo' Mohsenvand
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文值得看的地方,是它把“注意力机制在规模上会失效”当成一个可以逐条拆掉的工程问题,而不是笼统地说模型容量不够。 作者列了三种失效方式:权重被摊薄、学到的分数之间差距无法收敛、软状态在循环中漂移。然后针对每一条做一个设计选择,最后拼出一个“零温度”的高阶注意力层。 这套思路的可验证性很强 ,因为它给了明确的对照实验:同样网络换成软计数,在 4,096 个...