全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

SAE 解读 MoE:稀疏自编码器揭示 MoE 专家具有人类可解释的细粒度专精

Mixture-of-Experts (MoE) models route each token to a few of many experts, yet what an individual expert is responsible for remains unsettled. Existing analyses count how often an expert is selected on domain-labeled corpora, an instrument that fixes the taxonomy in advance, stays coarse, and records selection rather t

阅读原文 · Anyuan Zhuo, Shaohua Zhang, Yuan Lin, Pinyan Lu

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

MoE 模型里每个专家到底在负责什么,这个问题一直没有让人满意的答案。常见做法是拿一批带领域标签的语料,统计某个专家被路由选中的频率。这个做法有个根本问题: 它记录的是“被选中”,不是“实际贡献” ,而且分类体系是事先定死的,粒度也粗。 这篇论文换了个角度,从特征空间看专家的分工。思路挺巧:在 MoE 层的输出上训练一个稀疏自编码器(SAE),因为这一层输出...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出