全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

逐层、逐模块探测 Transformer 表征

Which representation should be probed in a transformer-based foundation model? Recent work shows that the standard practice of probing the final layer is often suboptimal, as intermediate layers can provide better features. Yet, representations are still largely studied along depth alone, treating each transformer bloc

阅读原文 · Ambroise Odonnat, Theo Gnassounou, Laetitia Chapel, Romain Tavenard, Ievgen Redko

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

这篇论文值得看的地方,是它把一件大家默认的事拆开了。 过去几年,探测基础模型表征有个流行结论:别只盯最后一层,中间层往往更好。这个结论本身已经动摇了“最后一层就是最优特征”的惯例。 但这篇论文往前推了一步。它说,只看层数还不够。Transformer 的每个 block 内部有不同模块,注意力、FFN、归一化,它们各自携带的表征质量不一样,而且模块的好坏会随...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出