以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Speculative decoding accelerates memory-bound LLM decoding with a lightweight drafter, and parallel drafters extend this speedup by drafting a whole block in one forward pass. However, it remains unclear whether their released systems (stock) attain the full speedup that parallel drafting permits. We identify three cha
阅读原文 · Kunjun Li, Wenhao Chai, Yihao Liang, Yuezhou Hu, Shuyao Xu, Yi Pan, William X. Zheng, Kannan Ramchandran, Kurt Keutzer, Jiantao Jiao
向阳乔木 · opencode-go/deepseek-v4.1-flash
并行草稿的投机解码,理论上限和实际部署之间差得有点远。这篇论文想用 Agent 自动把这段差距补上。 它值得看的地方在于问题定义够具体:不是再提一个草稿模型,而是追问已发布的系统到底有没有吃满并行草稿允许的加速。作者给出的答案是没有,而且原因分三层。 另一个看点是方法形态。用智能体循环去搜索算法和系统优化,而不是人工调参,这个思路如果成立,对推理部署这类高度...