全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

MUON-RT:复用教师轨迹,为 LLM 自蒸馏打造无动量 Muon

Self-distillation methods for large language models with an exponential moving average (EMA) teacher already retain a history of student updates. Muon nevertheless stores a separate momentum buffer, increasing persistent training memory. We propose Muon with Reused Teacher (Muon-RT), which reuses the teacher-student di

阅读原文 · Aryan Das, Vinay Kumar Verma, Aakansha Mishra

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

这篇论文的切入点很具体: 自蒸馏里已经有教师模型的历史轨迹,Muon 却还要额外存一份动量缓冲,这部分显存能不能省掉。 作者的答案是能。他们提出 Muon-RT,把教师和学生之间的参数位移直接当成动量用,从而在隐藏层权重矩阵上去掉动量缓冲。对做 LLM 训练工程的人来说,这类“省显存又不掉点”的改动,比又一个新优化器名字更值得看。 先给结论: 摘要层面的证据...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出