以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Looped transformers are a parameter-efficient alternative to standard transformers for language modeling. By reapplying the same layers across multiple loop steps, recent looped language models match the performance of non-looped models several times their size. While this architecture effectively reduces parameter mem
阅读原文 · Minsoo Cheong, Sungjoo Yoo
向阳乔木 · opencode-go/deepseek-v4.1-flash
循环 Transformer 用同一套层反复跑多步,参数量省下来了,但每一步都要存自己的 KV,缓存随循环步数线性膨胀。这篇论文盯的就是这个瓶颈。 它发现循环轴上的 KV 冗余度很高,而且各步对量化的敏感度差别很大。基于这两点做的 LoopVQ,在 0.5 bit/元素下已经超过面向标准 LLM 的 KV 向量量化方法,配 TaSQ 还能压到 0.25 bi...