以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Among 291 surveyed open-weight language model repositories (280 distinct embedding tables), 52.6% of untied gated and hybrid checkpoints (20/38) contain reachable input embeddings with norms below 10^{-6}, compared with 0% of weight-tied models. Such near-zero rows can arise during pretraining when unseen rare or templ
阅读原文 · Xin Liu, Boyuan Sun, Yuxin Wang, Haoran Song, Mingjian Zhao, Mengyu Liu
向阳乔木 · opencode-go/deepseek-v4.1-flash
有些训练故障不会报错,也不会掉点掉得很明显,它只是悄悄让一部分参数永远学不动。这篇论文盯上的就是这类问题,而且给了一个挺意外的证据:在开源权重里,它已经发生了。 论文调查了 291 个开放权重模型仓库,覆盖 280 张不同的 embedding 表。在 未做权重共享(untied)的门控与混合模型 里,52.6%(20/38)的 checkpoint 存在范...