全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

近零 Token 嵌入在门控序列模型中悄然导致训练停滞

Among 291 surveyed open-weight language model repositories (280 distinct embedding tables), 52.6% of untied gated and hybrid checkpoints (20/38) contain reachable input embeddings with norms below 10^{-6}, compared with 0% of weight-tied models. Such near-zero rows can arise during pretraining when unseen rare or templ

阅读原文 · Xin Liu, Boyuan Sun, Yuxin Wang, Haoran Song, Mingjian Zhao, Mengyu Liu

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

有些训练故障不会报错,也不会掉点掉得很明显,它只是悄悄让一部分参数永远学不动。这篇论文盯上的就是这类问题,而且给了一个挺意外的证据:在开源权重里,它已经发生了。 论文调查了 291 个开放权重模型仓库,覆盖 280 张不同的 embedding 表。在 未做权重共享(untied)的门控与混合模型 里,52.6%(20/38)的 checkpoint 存在范...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出