全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

onóna:共享解嵌入的双嵌入

Weight tying reduces the parameter cost of language models, but the usual tied output head is limited to a single softmax. We introduce onóna, a two-table parameterization that increases output expressiveness while preserving input-output weight sharing. The Transformer takes the average of two embedding tables as inpu

阅读原文 · Cheng Luo, Xinnan Dai, Zhongzhu Zhou, Zefan Cai, Ruijie Zhu, Tianyu Zhang, Junjie Hu

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

权重绑定(weight tying)是语言模型里省参数的老办法:输入嵌入和输出 softmax 共用一张表。省是省了,代价是输出侧的表达能力被一张表锁死。 onóna 这篇论文想在这个约束里多挤一点空间出来。它用两张表做参数化,输入取两张表的平均,输出头把两张表各自的 softmax 分布混合起来,混合权重由一个只看当前输入 token 的门控决定。Tran...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出