全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

UniSpark:探索混合注意力实现多模态理解与生成

We present UniSpark-9B, a unified multimodal model that investigates hybrid attention for visual understanding and generation. Built on a Mixture-of-Transformer-Experts backbone with approximately 9B parameters in each branch, UniSpark combines full attention for explicit token interactions with GatedDeltaNet linear at

阅读原文 · Jiancheng Pan, Yuzheng Liu, Hengyuan Cao, Qiyuan Zhang, Yangyan Li, Biao Gong, Zheng Zhang, Ka Long Cheng, Xinyang Wang, Yujun Shen

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

多模态统一模型这两年一直有个尴尬:理解任务喜欢全注意力,生成任务嫌它太贵;线性注意力便宜,又怕它记不住细节。UniSpark 这篇论文正对着这个矛盾来,试的是 把两种注意力混在一个模型里 ,让理解和生成共用一个骨干。 论文来自 arXiv,标题 UniSpark,模型叫 UniSpark-9B。摘要里给的判断很明确:混合注意力可以作为统一多模态理解与生成的骨...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出