全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

Training Foundation Models with a Single Algorithm

Foundation models are typically trained in stages: pretraining, midtraining, supervised fine-tuning (SFT), and reinforcement learning (RL), with changes in both data and learning algorithms. We show that this algorithmic separation is not fundamental. By deriving suitable RL objectives as maximum-likelihood fitting to

阅读原文 · Yuda Song, Alvin Zhang, Fahim Tajwar, Daman Arora, Jeff Schneider, Daniel Khashabi, Ruslan Salakhutdinov, J. Andrew Bagnell, Aarti Singh, Andrea Zanette

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

基础模型的训练一直是分阶段的:预训练、中训练、SFT、RL,数据和算法都在换。这篇论文想证明,这种算法层面的割裂 不是必然的 。 它把预训练、SFT、RL 都看成同一件事的不同参数配置:对某个目标分布做最大似然拟合。如果这个视角成立,训练基础模型就退化成三个调度问题:训什么数据、各占多少比例、什么时候上。 对做训练系统和数据配比的人,这篇值得翻一翻。 这篇论...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出