全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

用可训练前缀 Token 减少检索嵌入中的表征干扰

Embedding models compress variable-length text into fixed-size vector representations, but this compression can entangle semantic content with residual token-level information, such as artifacts arising from attention sink behavior. We propose a simple method that prepends trainable [DUMP] tokens to the input during em

阅读原文 · Seongtae Hong, Youngjoon Jang, Jungseob Lee, Chanjun Park, Heuiseok Lim

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

做检索 embedding 的人大概都有过这种直觉:模型把一段文本压成一个向量,语义是压进去了,可一些和语义无关的东西也混了进去。这篇论文抓住的就是这个混杂问题。 作者提出的办法出奇地简单:在输入前面加几个可训练的 [DUMP] token,让它们在对比学习里自己学,把残留在表示里的 token 级噪音“吸”过去。 方法不改架构、不改池化方式、不改损失函数...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出