以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Speculative decoding (SD) accelerates large language model inference by reducing the sequential cost of token-by-token generation. Advanced SD methods reduce proposal cost with parallel drafters that predict entire blocks in one forward pass, but overall speedup still depends on acceptance length. On-policy distillatio
阅读原文 · Tianyu Liu, Jun Zhang, Wenjie Huang, Yuhao Shen, Tianqi Xu, Xinyue Hao, Hongyaoxing Gu, Xuyang Liu, Baolin Zhang, Yating Zhu, Shuang Ge, Jun Dai, Lei Chen, Yue Li, Mingchen Wan
向阳乔木 · opencode-go/deepseek-v4.1-flash
投机解码这条线,最近一年真正卡住的地方已经不是“草稿模型够不够快”,而是 接受长度上不去 。并行 drafter 一次前向就能吐出一整块 token,提案成本压得很低,可端到端加速比还是被接受长度锁死。 这篇 SpecOPD 盯的就是这个瓶颈。它用 on-policy distillation 把已经训得不错的 drafter 再往上推一截,但把传统 OPD...