以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Which representation should be probed in a transformer-based foundation model? Recent work shows that the standard practice of probing the final layer is often suboptimal, as intermediate layers can provide better features. Yet, representations are still largely studied along depth alone, treating each transformer bloc
阅读原文 · Ambroise Odonnat, Theo Gnassounou, Laetitia Chapel, Romain Tavenard, Ievgen Redko
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文值得看的地方,是它把一件大家默认的事拆开了。 过去几年,探测基础模型表征有个流行结论:别只盯最后一层,中间层往往更好。这个结论本身已经动摇了“最后一层就是最优特征”的惯例。 但这篇论文往前推了一步。它说,只看层数还不够。Transformer 的每个 block 内部有不同模块,注意力、FFN、归一化,它们各自携带的表征质量不一样,而且模块的好坏会随...