以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Self-distillation methods for large language models with an exponential moving average (EMA) teacher already retain a history of student updates. Muon nevertheless stores a separate momentum buffer, increasing persistent training memory. We propose Muon with Reused Teacher (Muon-RT), which reuses the teacher-student di
阅读原文 · Aryan Das, Vinay Kumar Verma, Aakansha Mishra
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文的切入点很具体: 自蒸馏里已经有教师模型的历史轨迹,Muon 却还要额外存一份动量缓冲,这部分显存能不能省掉。 作者的答案是能。他们提出 Muon-RT,把教师和学生之间的参数位移直接当成动量用,从而在隐藏层权重矩阵上去掉动量缓冲。对做 LLM 训练工程的人来说,这类“省显存又不掉点”的改动,比又一个新优化器名字更值得看。 先给结论: 摘要层面的证据...