全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

LoopFill:面向循环 Transformer 的流水线式多 token 投机解码

Looped Transformers improve parameter efficiency by repeatedly applying the same Transformer layers. During autoregressive decoding, however, generating each token requires several sequential passes through these layers, leading to high decoding latency. Pipelined self-speculative methods use shallow-loop predictions t

阅读原文 · Siqi Zhu, Suozhi Huang, Yi Zhao, Jiaxuan You

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

循环 Transformer 这类模型靠反复套用同一组层来省参数,代价是解码时每个 token 都要串行走好几遍这些层,延迟高得明显。这篇论文盯着这个延迟下手,提出一种 免训练 的推测解码方法 LoopFill,在 Ouro-2.6B 和 Huginn-3.5B 上分别拿到 5.85 倍和 5.13 倍的平均加速。 值得看的原因很直接:它没有改模型、没有加训...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出