全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

训练 Vision Transformer 学会聚焦:空间注意力头专门化的涌现

Self-supervised learning in Vision Transformer models, such as DINO, enables robust visual perception without requiring labeled data by leveraging large-scale image datasets. However, these models lack a focusing mechanism during training, resulting in perceptual representations that are often ambiguous or overly simil

阅读原文 · Yuji Nozawa, Yu-Chieh Lin, Youyang Ng

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

这篇论文盯着一个很具体的问题:DINO 这类自监督 Vision Transformer 学到的注意力,为什么经常“糊”在一起。 摘要里说得很直白,这些模型训练时缺少聚焦机制,感知表征容易含糊,或者不同注意力头之间过度相似。作者的做法是加两个视觉聚焦损失,把注意力往图像里的特定区域上引导,让注意力头自己分化出空间分工。 如果你在做视觉表征、自监督学习,或者关...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出