全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

通过动态路由、以 KV 为中心的执行与运行时流水线加速块注意力混合

Mixture of Block Attention (MoBA) reduces long-context computation by selecting key-value (KV) blocks for each query. FlashMoBA implements MoBA efficiently but retains a fixed Top-k budget and query-centric schedule. Fixed Top-k applies one budget across different score distributions and couples routing to task granula

阅读原文 · Yingqi Shi, Junru Lu, Yun Liu, Di Yin, Xing Sun

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

MoBA 这类稀疏注意力,工程上一直有个尴尬:算法省了算力,系统实现却可能把省下来的又吐回去。这篇论文盯的就是这个缝隙。 FlashMoBA 已经把 MoBA 跑得不错,但它保留了两个硬设定:固定 Top-k 预算,以及以 query 为中心的调度。作者认为这两点会拖慢真实生成,于是提出 LightningMoBA,从选块和执行的配合上重做了一遍。 如果你在...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出

分享海报

正在生成海报…

主题

字体

开源字体第一次使用时联网下载,只取海报上用到的字。