以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Multi-teacher on-policy distillation (MOPD) extends on-policy distillation (OPD) to consolidate capabilities from multiple teachers. Although prior work reports near-perfect in-distribution (IND) distillation performance, we find that this can mask incomplete capability consolidation beyond the supervised distribution.
阅读原文 · Yichen Wang, Yufa Zhou, Siqi Zhu, Haozheng Luo, Jingzhi Bao, Zhichao Liu, Zijun Wei
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文值得看,因为它戳破了一个很容易被忽略的假象:蒸馏在测试集上分数漂亮,不代表能力真的被搬过来了。 作者在多教师在线策略蒸馏(MOPD)上发现,分布内(IND)接近满分,分布外(OOD)反而比基座模型还差。这个反差对做模型合并、RL 后训练收尾、能力迁移的团队都很扎心。 材料只有摘要,所以下面所有判断都停在摘要能支撑的范围内。想看实验细节和具体设置,得回...