以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Interpretability demonstrations often show that intervening on a group of neurons changes a model's answer. A recent example removes an 18-neuron group in Qwen3-32B and the model answers "Simba" instead of "Scar" to a two-hop Lion King riddle. Such a demonstration establishes that the group matters, but not how much of
阅读原文 · Ömer Tekin Yavuz
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文问了一个很实在的问题:当我们说“敲掉这 18 个神经元,模型就把 Scar 答成 Simba”,这个演示到底证明了什么? 证明的是这组神经元 有影响 。没证明的是:组里哪些是必需的、换一组行不行、换个问法还灵不灵。作者把这几个缺口挨个测了一遍。 对做机制可解释性的人来说,这比又一个漂亮的干预 demo 有价值。它拆的是“电路发现”这件事本身的可信度。...