全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

我们遗忘之物中保留了什么:免训练 MoE 专家剪枝中的替换算子与路由语义

Training-free expert pruning makes two decisions: which experts to remove, and what the layer computes when its router still selects a removed expert. Published methods change both at once. Holding the mask fixed, we compare replacement operators from three families on OLMoE, DeepSeek-V2-Lite and Moonlight, with Granit

阅读原文 · Ezza Ali, Sehrish Bibi, Momina Moetesum, Faisal Shafait

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

这篇论文值得看的地方,不在它提出了多强的新方法,而在它把一个大家默认跳过的小选择拎出来,证明这个选择能直接改变结论。 MoE 剪枝里,训练无关(training-free)的做法通常被简化成“删哪些专家”。但删掉之后,路由器还会选中那个已经不存在的专家,这一层该算什么?这个“替换算子”才是真正决定效果的部分。作者把替换算子固定住,只比较不同算子,结果发现最大...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出