以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
The goal of this paper is to reduce the input token cost of Omni-modal large language models (Omni-LLMs) at inference time. Omni-LLMs reason jointly over audio, video and text, but the cost of the three streams is highly unbalanced: visual tokens account for the vast majority of the input, and are highly redundant. In
阅读原文 · Suho Yoo, Youngjoon Jang, Hyebin Cho, Joon Son Chung
向阳乔木 · opencode-go/deepseek-v4.1-flash
全模态模型(Omni-LLM)能同时读音频、视频和文本,但推理成本被视觉 token 严重拖累。视觉 token 占了输入的大头,冗余度又高。 这篇论文提出 ReMo,一个 训练免调 的视觉 token 压缩框架。思路挺有意思:一个视觉 token 只有在“别处找不到同样信息”时才保留。信息已经在音频里说过了,或者已经被别的视觉 token 覆盖了,就删。...