以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
RLVR trains language models to reason by rewarding correct final answers. A widely used algorithm, group-relative policy optimization (GRPO), gives every token of a solution the same credit, so dense process rewards have been proposed to credit intermediate steps, for example with a Monte-Carlo reward that scores each
阅读原文 · Vikash Singh, Weicong Chen, Debargha Ganguly, Yanyan Zhang, Mohsen Hariri, Sreehari Sankar, Wang Yang, Chaoda Song, Alexander Nemecek, Osama Zafar, Yuting Shao, Kai Ye, Biyao Zhang, Xinpeng Li, Shouren Wang, Erman Ayday, Jing Ma, Sanmukh Rao Kuppannagari, Vipin Chaudhary
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文值得看,因为它挑战了 RLVR 里一个正在被广泛接受的直觉:给推理过程更细的奖励,应该比只奖励最终答案更有效。 作者把问题换了个问法: 如果给密集奖励和标准 GRPO 一样的算力预算,它还赢吗? 答案在 1,668 次训练里被反复检验。结论不太舒服:很多密集奖励的优势,来自它偷偷多花了 token。 这篇论文想解决什么 RLVR 训练语言模型推理,常...