以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Asynchronous reinforcement learning increases training throughput, but data from stale policies and numerical mismatch between training and inference can destabilize learning. To stabilize off-policy learning, score centering (SC) removes the effect of reward baselines on the expected update. Our gradient diagnostics s
阅读原文 · Hao Bai, Chenlu Ye, Xuanchang Zhang, Aviral Kumar, Tong Zhang
向阳乔木 · opencode-go/deepseek-v4.1-flash
异步强化学习能提高训练吞吐,但训练和推理之间的数值不一致、以及数据来自过期策略,这两件事都可能让训练崩掉。这篇论文讨论的是怎么在离策略学习里稳住更新。 Regularized Score Centering 关注一个具体环节:score centering(SC)通过去掉奖励基线对期望更新的影响来稳定训练。作者做了梯度诊断,发现 SC 的梯度比重要性采样(I...