全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

绝对零度下的注意力

Attention scores candidate supports of an answer, which we call witnesses, and reads the scores at a temperature. We build a higher-order attention layer whose state lives on pairs of items: for a pair (a, b), each third item k is a witness judged through its legs (a, k) and (k, b). It reads witnesses at zero temperatu

阅读原文 · Mostafa 'Neo' Mohsenvand

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

这篇论文值得看的地方,是它把“注意力机制在规模上会失效”当成一个可以逐条拆掉的工程问题,而不是笼统地说模型容量不够。 作者列了三种失效方式:权重被摊薄、学到的分数之间差距无法收敛、软状态在循环中漂移。然后针对每一条做一个设计选择,最后拼出一个“零温度”的高阶注意力层。 这套思路的可验证性很强 ,因为它给了明确的对照实验:同样网络换成软计数,在 4,096 个...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出

分享海报

正在生成海报…

主题

字体

开源字体第一次使用时联网下载,只取海报上用到的字。