全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

SpecOPD:面向投机解码的分支并行同策略蒸馏

Speculative decoding (SD) accelerates large language model inference by reducing the sequential cost of token-by-token generation. Advanced SD methods reduce proposal cost with parallel drafters that predict entire blocks in one forward pass, but overall speedup still depends on acceptance length. On-policy distillatio

阅读原文 · Tianyu Liu, Jun Zhang, Wenjie Huang, Yuhao Shen, Tianqi Xu, Xinyue Hao, Hongyaoxing Gu, Xuyang Liu, Baolin Zhang, Yating Zhu, Shuang Ge, Jun Dai, Lei Chen, Yue Li, Mingchen Wan

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

投机解码这条线,最近一年真正卡住的地方已经不是“草稿模型够不够快”,而是 接受长度上不去 。并行 drafter 一次前向就能吐出一整块 token,提案成本压得很低,可端到端加速比还是被接受长度锁死。 这篇 SpecOPD 盯的就是这个瓶颈。它用 on-policy distillation 把已经训得不错的 drafter 再往上推一截,但把传统 OPD...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出