全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

FLAMIA:面向 Blackwell 快速且因果安全训练的 Flash 微缩放注意力

Attention remains a substantial computational cost in Transformer training, particularly at long context lengths. NVIDIA Blackwell GPUs provide high-throughput low-precision matrix multiplication, but exploiting it in attention requires addressing quantization overhead, causal information leakage through shared scales,

阅读原文 · Fedor Velikonivtsev, Mikhail Koltakov, Denis Kuznedelev

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

NVIDIA Blackwell 把低精度矩阵乘法的吞吐拉得很高,可注意力这块一直没真正吃到红利。量化本身有开销,共享 scale 会带来因果掩码下的信息泄漏,前向和反向的数值还对不齐。 FLAMIA 想解决的就是这组麻烦:在 Blackwell 上做一套能安全用 MXFP8 和 NVFP4/FP8 混合精度训练的注意力 kernel,同时把量化开销压下去。...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出