以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
On-policy distillation (OPD) trains a student language model on its own responses, guided by a fixed teacher. Generating these responses is expensive, so systems use quantized inference and asynchronous rollouts to reduce the cost. Both, however, introduce training-inference mismatch between the rollout engine and the
阅读原文 · Cong Yu, Ziting Wang, Songlin Jiang, Sitong Zhang, Chengliang Chai, Youhe Jiang, Eiko Yoneki, Tuo Shi
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文问了一个很实际的问题:做 On-policy Distillation(OPD)的时候,推理端和训练端对不上,能歪到什么程度才开始出问题? 这个问题在工程上绕不开。OPD 让学生模型用自己的输出训练,老师模型负责打分,可生成这些输出很贵,于是大家用低精度推理、异步 rollout 来省钱。省钱的代价就是 mismatch:rollout 引擎跑的那套...