以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Training-free expert pruning makes two decisions: which experts to remove, and what the layer computes when its router still selects a removed expert. Published methods change both at once. Holding the mask fixed, we compare replacement operators from three families on OLMoE, DeepSeek-V2-Lite and Moonlight, with Granit
阅读原文 · Ezza Ali, Sehrish Bibi, Momina Moetesum, Faisal Shafait
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文值得看的地方,不在它提出了多强的新方法,而在它把一个大家默认跳过的小选择拎出来,证明这个选择能直接改变结论。 MoE 剪枝里,训练无关(training-free)的做法通常被简化成“删哪些专家”。但删掉之后,路由器还会选中那个已经不存在的专家,这一层该算什么?这个“替换算子”才是真正决定效果的部分。作者把替换算子固定住,只比较不同算子,结果发现最大...