全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

在 GRPO 中,密集奖励值得消耗这些 token 吗?

RLVR trains language models to reason by rewarding correct final answers. A widely used algorithm, group-relative policy optimization (GRPO), gives every token of a solution the same credit, so dense process rewards have been proposed to credit intermediate steps, for example with a Monte-Carlo reward that scores each

阅读原文 · Vikash Singh, Weicong Chen, Debargha Ganguly, Yanyan Zhang, Mohsen Hariri, Sreehari Sankar, Wang Yang, Chaoda Song, Alexander Nemecek, Osama Zafar, Yuting Shao, Kai Ye, Biyao Zhang, Xinpeng Li, Shouren Wang, Erman Ayday, Jing Ma, Sanmukh Rao Kuppannagari, Vipin Chaudhary

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

这篇论文值得看,因为它挑战了 RLVR 里一个正在被广泛接受的直觉:给推理过程更细的奖励,应该比只奖励最终答案更有效。 作者把问题换了个问法: 如果给密集奖励和标准 GRPO 一样的算力预算,它还赢吗? 答案在 1,668 次训练里被反复检验。结论不太舒服:很多密集奖励的优势,来自它偷偷多花了 token。 这篇论文想解决什么 RLVR 训练语言模型推理,常...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出