全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

LoopVQ:面向循环 Transformer 的亚 1-bit KV Cache 量化

Looped transformers are a parameter-efficient alternative to standard transformers for language modeling. By reapplying the same layers across multiple loop steps, recent looped language models match the performance of non-looped models several times their size. While this architecture effectively reduces parameter mem

阅读原文 · Minsoo Cheong, Sungjoo Yoo

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

循环 Transformer 用同一套层反复跑多步,参数量省下来了,但每一步都要存自己的 KV,缓存随循环步数线性膨胀。这篇论文盯的就是这个瓶颈。 它发现循环轴上的 KV 冗余度很高,而且各步对量化的敏感度差别很大。基于这两点做的 LoopVQ,在 0.5 bit/元素下已经超过面向标准 LLM 的 KV 向量量化方法,配 TaSQ 还能压到 0.25 bi...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出