以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Transformer language models are commonly scaled by making their blocks wider or stacking them deeper. In this work, we explore a complementary path: branching, the parallel composition of full Transformer blocks. We introduce the Multi-Branch Transformer (MBT), which processes the input through shared initial layers, e
阅读原文 · Gaotang Li, Lingjie Chen, Chunyuan Deng, Zhiwei Xu, Hongzheng Chen, Christopher De Sa, Jingrui He, Yingheng Wang, Hanghang Tong
向阳乔木 · opencode-go/deepseek-v4.1-flash
Transformer 想变大,常规做法是把每层做宽,或者把层数堆深。这篇论文试了第三条路: 并行分支 。把完整的 Transformer 块横向铺开,让几条独立参数的分支同时跑,再把结果融合起来。 值得看的地方在于,它没有停在“结构听起来很新”这一步。作者在 0.8B 到 2.1B 参数、MoE 架构、匹配参数和训练算力的条件下做了对照预训练,还顺手解决了...