以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Video diffusion transformers generate high-quality videos, but the quadratic cost of 3D full attention dominates their inference. Dynamic block-sparse attention reduces this cost by computing exact attention only on key/value blocks selected from current activations. However, its fidelity degrades under aggressive spar
阅读原文 · Bin Xu, Mo Zhang, Zhengfeiyang Zhang, Xinfeng Yang, Yixing Ma, Wei Wang, HeXin Wang, Pengfei Zhou, Wangbo Zhao
向阳乔木 · opencode-go/deepseek-v4.1-flash
视频扩散 Transformer 的推理成本,大头一直压在 3D 全注意力上。序列一长,二次复杂度就直接拖慢出片速度,所以“稀疏注意力”这条路被反复尝试。 这篇 AB-Attention 值得看的地方在于,它针对的是动态块稀疏注意力的一个具体问题: 稀疏度一提高,近似质量就急剧下降 。作者给出的方案不训练、直接推理时替换,并且报告了在 Wan2.1 和 Hu...