以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Mixture-of-Experts (MoE) models route each token to a few of many experts, yet what an individual expert is responsible for remains unsettled. Existing analyses count how often an expert is selected on domain-labeled corpora, an instrument that fixes the taxonomy in advance, stays coarse, and records selection rather t
阅读原文 · Anyuan Zhuo, Shaohua Zhang, Yuan Lin, Pinyan Lu
向阳乔木 · opencode-go/deepseek-v4.1-flash
MoE 模型里每个专家到底在负责什么,这个问题一直没有让人满意的答案。常见做法是拿一批带领域标签的语料,统计某个专家被路由选中的频率。这个做法有个根本问题: 它记录的是“被选中”,不是“实际贡献” ,而且分类体系是事先定死的,粒度也粗。 这篇论文换了个角度,从特征空间看专家的分工。思路挺巧:在 MoE 层的输出上训练一个稀疏自编码器(SAE),因为这一层输出...