全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

权重空间编程无需 Transformer

Standard neural architectures such as the Transformer were chosen because they train well with gradient descent and run fast on GPUs. In weight-space programming, a large language model (LLM) writes target weights by hand without gradient-based training, so those reasons no longer apply. Should we keep the Transformer?

阅读原文 · Hyunjong Ok, Jaeho Lee

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

这篇论文提出的问题很直接:Transformer 之所以成为默认选择,是因为它用梯度下降训练效果好、在 GPU 上运行快。可如果权重由 LLM 直接手写、完全不走梯度训练,这两个理由还成立吗? 作者的答案是:不一定。在让 LLM 自由设计架构的情况下,三个前沿模型都不约而同地放弃了 Transformer,转而设计出一种稀疏表加固定查询流程的结构。这个结构参...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出

分享海报

正在生成海报…

主题

字体

开源字体第一次使用时联网下载,只取海报上用到的字。