全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

多分支 Transformer

Transformer language models are commonly scaled by making their blocks wider or stacking them deeper. In this work, we explore a complementary path: branching, the parallel composition of full Transformer blocks. We introduce the Multi-Branch Transformer (MBT), which processes the input through shared initial layers, e

阅读原文 · Gaotang Li, Lingjie Chen, Chunyuan Deng, Zhiwei Xu, Hongzheng Chen, Christopher De Sa, Jingrui He, Yingheng Wang, Hanghang Tong

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

Transformer 想变大,常规做法是把每层做宽,或者把层数堆深。这篇论文试了第三条路: 并行分支 。把完整的 Transformer 块横向铺开,让几条独立参数的分支同时跑,再把结果融合起来。 值得看的地方在于,它没有停在“结构听起来很新”这一步。作者在 0.8B 到 2.1B 参数、MoE 架构、匹配参数和训练算力的条件下做了对照预训练,还顺手解决了...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出

分享海报

正在生成海报…

主题

字体

开源字体第一次使用时联网下载,只取海报上用到的字。