以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Weight tying reduces the parameter cost of language models, but the usual tied output head is limited to a single softmax. We introduce onóna, a two-table parameterization that increases output expressiveness while preserving input-output weight sharing. The Transformer takes the average of two embedding tables as inpu
阅读原文 · Cheng Luo, Xinnan Dai, Zhongzhu Zhou, Zefan Cai, Ruijie Zhu, Tianyu Zhang, Junjie Hu
向阳乔木 · opencode-go/deepseek-v4.1-flash
权重绑定(weight tying)是语言模型里省参数的老办法:输入嵌入和输出 softmax 共用一张表。省是省了,代价是输出侧的表达能力被一张表锁死。 onóna 这篇论文想在这个约束里多挤一点空间出来。它用两张表做参数化,输入取两张表的平均,输出头把两张表各自的 softmax 分布混合起来,混合权重由一个只看当前输入 token 的门控决定。Tran...