以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Autoregressive decoding relies on the KV cache, whose memory footprint grows linearly with context length and caps batch size and throughput. Existing post-training methods exploit redundancy across tokens, layers, and feature dimensions, or lower numerical precision. We identify a complementary axis: within each atten
阅读原文 · Teresa Delgado, Hugo Hazard, Martin Benfeghoul, Jun Wang, Zafeirios Fountas
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文值得看的地方,在于它抓住了一个常被忽略的压缩维度: 在同一个注意力头里,value 很大程度上可以从对应的 key 预测出来 。 现有的 KV cache 压缩大多围绕 token 冗余、层间冗余、特征维度冗余或数值精度做文章。LowRAM 说这些之外还有一条互补的路:既然 value 和 key 高度相关,那就不必把 value 老老实实全存下来,...