以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
How multimodal language models should encode visual input remains up for debate. Most models use a pretrained vision encoder, while some recent recipes train the encoder from scratch with the language model or remove it entirely. Vision encoders bundle together three design choices: a visual prior from upstream pretrai
阅读原文 · Ellis Brown, Chris Hoang, Shengyi Qian, Shang-Wen Li, Mike Lewis, Marjan Ghazvininejad, Luke Zettlemoyer, Lucas Beyer, Mengye Ren, Jakob Verbeek, Saining Xie, Hu Xu
向阳乔木 · opencode-go/deepseek-v4.1-flash
多模态语言模型到底该怎么“看”图,这件事一直没有定论。大多数模型沿用预训练好的视觉编码器,也有一批新做法干脆从零和语言模型一起训,甚至把编码器整个拿掉。 问题在于,已发布的模型在数据、架构、算力上都不同,直接比谁强谁弱,根本分不清是哪个设计选择在起作用。这篇论文做的事很朴素:把视觉编码器拆成三个可以单独控制的选择,在统一数据、统一总算力下从零训练所有模型,再...