全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

SpecPilot:面向投机解码的自主算法发现与系统优化

Speculative decoding accelerates memory-bound LLM decoding with a lightweight drafter, and parallel drafters extend this speedup by drafting a whole block in one forward pass. However, it remains unclear whether their released systems (stock) attain the full speedup that parallel drafting permits. We identify three cha

阅读原文 · Kunjun Li, Wenhao Chai, Yihao Liang, Yuezhou Hu, Shuyao Xu, Yi Pan, William X. Zheng, Kannan Ramchandran, Kurt Keutzer, Jiantao Jiao

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

并行草稿的投机解码,理论上限和实际部署之间差得有点远。这篇论文想用 Agent 自动把这段差距补上。 它值得看的地方在于问题定义够具体:不是再提一个草稿模型,而是追问已发布的系统到底有没有吃满并行草稿允许的加速。作者给出的答案是没有,而且原因分三层。 另一个看点是方法形态。用智能体循环去搜索算法和系统优化,而不是人工调参,这个思路如果成立,对推理部署这类高度...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出