全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

NarrowSpec:投机解码中草稿模型隐藏宽度无需匹配目标模型

Speculative decoding is widely used to speed up generation in large language models (LLMs), with a small draft model proposing tokens that one forward pass of the target model verifies. Draft models that read the target's hidden states, such as DFlash and EAGLE-3, typically inherit the target's hidden width. We show th

阅读原文 · Alagappan Valliappan, Ankit More, Dheevatsa Mudigere, Jatin Mitra

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

投机解码里有个默认前提:草稿模型既然要读目标模型的隐藏状态,那隐藏宽度就得跟目标模型对齐。NarrowSpec 说这个前提可以松掉一半甚至四分之三,接受率基本不掉。 这篇值得看的地方在于它动的是 结构上的冗余 ,不是调参。草稿模型本来只负责猜几个 token,却背着跟目标模型一样宽的残差流,这部分算力花得有点冤。论文给出的结果是端到端 1.06 到 1.44...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出

分享海报

正在生成海报…

主题

字体

开源字体第一次使用时联网下载,只取海报上用到的字。