以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Mixture of Block Attention (MoBA) reduces long-context computation by selecting key-value (KV) blocks for each query. FlashMoBA implements MoBA efficiently but retains a fixed Top-k budget and query-centric schedule. Fixed Top-k applies one budget across different score distributions and couples routing to task granula
阅读原文 · Yingqi Shi, Junru Lu, Yun Liu, Di Yin, Xing Sun
向阳乔木 · opencode-go/deepseek-v4.1-flash
MoBA 这类稀疏注意力,工程上一直有个尴尬:算法省了算力,系统实现却可能把省下来的又吐回去。这篇论文盯的就是这个缝隙。 FlashMoBA 已经把 MoBA 跑得不错,但它保留了两个硬设定:固定 Top-k 预算,以及以 query 为中心的调度。作者认为这两点会拖慢真实生成,于是提出 LightningMoBA,从选块和执行的配合上重做了一遍。 如果你在...