以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Hyper-Connections (HC) expand the residual stream of a Transformer into N parallel streams, and manifold-constrained HC (mHC) stabilizes them at scale. However, mHC benefits little from more than four streams, partly because each sublayer writes a single output to all streams, limiting how differently they can be updat
阅读原文 · Xinying Hu, You Wu, Haoyi Wu, Jianchao Tan, Kefeng Zhang, Yuchen Xie, Kewei Tu
向阳乔木 · opencode-go/deepseek-v4.1-flash
Transformer 的残差流一直是个容易被忽略的设计细节。Hyper-Connections 把它拆成多条并行流,mHC 再加约束让它在大模型上稳住。但这套方案有个尴尬:流数超过 4 之后,收益基本不涨了。 TPHC 这篇就是冲着这个天花板去的。它的判断很直接:问题不在流不够多,而在 每条流拿到的更新太像 。每个子层只写一份输出,再广播给所有流,流与流之...