全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

拆解多模态视觉编码

How multimodal language models should encode visual input remains up for debate. Most models use a pretrained vision encoder, while some recent recipes train the encoder from scratch with the language model or remove it entirely. Vision encoders bundle together three design choices: a visual prior from upstream pretrai

阅读原文 · Ellis Brown, Chris Hoang, Shengyi Qian, Shang-Wen Li, Mike Lewis, Marjan Ghazvininejad, Luke Zettlemoyer, Lucas Beyer, Mengye Ren, Jakob Verbeek, Saining Xie, Hu Xu

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

多模态语言模型到底该怎么“看”图,这件事一直没有定论。大多数模型沿用预训练好的视觉编码器,也有一批新做法干脆从零和语言模型一起训,甚至把编码器整个拿掉。 问题在于,已发布的模型在数据、架构、算力上都不同,直接比谁强谁弱,根本分不清是哪个设计选择在起作用。这篇论文做的事很朴素:把视觉编码器拆成三个可以单独控制的选择,在统一数据、统一总算力下从零训练所有模型,再...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出