全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

TPHC:用张量并行分组更新改进超连接

Hyper-Connections (HC) expand the residual stream of a Transformer into N parallel streams, and manifold-constrained HC (mHC) stabilizes them at scale. However, mHC benefits little from more than four streams, partly because each sublayer writes a single output to all streams, limiting how differently they can be updat

阅读原文 · Xinying Hu, You Wu, Haoyi Wu, Jianchao Tan, Kefeng Zhang, Yuchen Xie, Kewei Tu

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

Transformer 的残差流一直是个容易被忽略的设计细节。Hyper-Connections 把它拆成多条并行流,mHC 再加约束让它在大模型上稳住。但这套方案有个尴尬:流数超过 4 之后,收益基本不涨了。 TPHC 这篇就是冲着这个天花板去的。它的判断很直接:问题不在流不够多,而在 每条流拿到的更新太像 。每个子层只写一份输出,再广播给所有流,流与流之...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出

分享海报

正在生成海报…

主题

字体

开源字体第一次使用时联网下载,只取海报上用到的字。