全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

论同策略蒸馏在 RL 后能力巩固中的泛化局限

Multi-teacher on-policy distillation (MOPD) extends on-policy distillation (OPD) to consolidate capabilities from multiple teachers. Although prior work reports near-perfect in-distribution (IND) distillation performance, we find that this can mask incomplete capability consolidation beyond the supervised distribution.

阅读原文 · Yichen Wang, Yufa Zhou, Siqi Zhu, Haozheng Luo, Jingzhi Bao, Zhichao Liu, Zijun Wei

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

这篇论文值得看,因为它戳破了一个很容易被忽略的假象:蒸馏在测试集上分数漂亮,不代表能力真的被搬过来了。 作者在多教师在线策略蒸馏(MOPD)上发现,分布内(IND)接近满分,分布外(OOD)反而比基座模型还差。这个反差对做模型合并、RL 后训练收尾、能力迁移的团队都很扎心。 材料只有摘要,所以下面所有判断都停在摘要能支撑的范围内。想看实验细节和具体设置,得回...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出