以下为上游提供的源文稿，可能存在识别错误。
乔木转写是基于源文稿的中文提炼，不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇，慢慢读
从左侧挑一篇，正文会在这里排成书页。
On-policy reinforcement learning for large language models assumes that training responses are sampled from the current policy. In practice, an inference engine samples the responses and a separate trainer computes the gradients, and the training-inference mismatch between the two makes the training data off-policy. Th
阅读原文 · Yu Li, Yufa Zhou, Tian Lan
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文讨论的是 LLM 强化学习里一个容易被忽视、但会直接影响训练稳定性的问题： 训练端和推理端对不上 。 on-policy RL 的前提是训练数据来自当前策略。实际系统里，响应由推理引擎采样，梯度由另一个训练器计算。两边数值精度不同、权重版本也可能不同，训练数据就悄悄变成了 off-policy。 更麻烦的是，这两类偏差需要的修正方式不一样。论文想回答...