以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Speculative decoding has been treated purely as a systems optimization that speeds up large language model decoding without changing the model behavior. Under this view, the growing effort to train better draft models has been focused solely on acceptance rate. We argue that this view does not hold true for long-horizo
阅读原文 · Hongyin Luo, Wei Fang, Lijie Yang, Owen Stepan, Daniel Suit, Jeff Krapf, Dana Wensberg, Jack O'Brien
向阳乔木 · opencode-go/deepseek-v4.1-flash
投机解码一直被视为纯工程优化。草稿模型猜几个 token,目标模型验证,猜对了就省一次前向。大家训练草稿模型只看一个指标:接受率。接受率越高,加速越好。这篇论文说,这个假设在长程 Agent 推理里不成立。 作者在复杂 Agent 任务上测了多个前沿开源权重模型,发现验证窗口内的数值噪声会累积。思考过程中的草稿接受结果,在 30 步之后能改变模型的输出分布,...