以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Speculative decoding is widely used to speed up generation in large language models (LLMs), with a small draft model proposing tokens that one forward pass of the target model verifies. Draft models that read the target's hidden states, such as DFlash and EAGLE-3, typically inherit the target's hidden width. We show th
阅读原文 · Alagappan Valliappan, Ankit More, Dheevatsa Mudigere, Jatin Mitra
向阳乔木 · opencode-go/deepseek-v4.1-flash
投机解码里有个默认前提:草稿模型既然要读目标模型的隐藏状态,那隐藏宽度就得跟目标模型对齐。NarrowSpec 说这个前提可以松掉一半甚至四分之三,接受率基本不掉。 这篇值得看的地方在于它动的是 结构上的冗余 ,不是调参。草稿模型本来只负责猜几个 token,却背着跟目标模型一样宽的残差流,这部分算力花得有点冤。论文给出的结果是端到端 1.06 到 1.44...