以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Embedding models compress variable-length text into fixed-size vector representations, but this compression can entangle semantic content with residual token-level information, such as artifacts arising from attention sink behavior. We propose a simple method that prepends trainable [DUMP] tokens to the input during em
阅读原文 · Seongtae Hong, Youngjoon Jang, Jungseob Lee, Chanjun Park, Heuiseok Lim
向阳乔木 · opencode-go/deepseek-v4.1-flash
做检索 embedding 的人大概都有过这种直觉:模型把一段文本压成一个向量,语义是压进去了,可一些和语义无关的东西也混了进去。这篇论文抓住的就是这个混杂问题。 作者提出的办法出奇地简单:在输入前面加几个可训练的 [DUMP] token,让它们在对比学习里自己学,把残留在表示里的 token 级噪音“吸”过去。 方法不改架构、不改池化方式、不改损失函数...