以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Attention remains a substantial computational cost in Transformer training, particularly at long context lengths. NVIDIA Blackwell GPUs provide high-throughput low-precision matrix multiplication, but exploiting it in attention requires addressing quantization overhead, causal information leakage through shared scales,
阅读原文 · Fedor Velikonivtsev, Mikhail Koltakov, Denis Kuznedelev
向阳乔木 · opencode-go/deepseek-v4.1-flash
NVIDIA Blackwell 把低精度矩阵乘法的吞吐拉得很高,可注意力这块一直没真正吃到红利。量化本身有开销,共享 scale 会带来因果掩码下的信息泄漏,前向和反向的数值还对不齐。 FLAMIA 想解决的就是这组麻烦:在 Blackwell 上做一套能安全用 MXFP8 和 NVFP4/FP8 混合精度训练的注意力 kernel,同时把量化开销压下去。...