以下为上游提供的源文稿，可能存在识别错误。
乔木转写是基于源文稿的中文提炼，不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇，慢慢读
从左侧挑一篇，正文会在这里排成书页。
Learning accurate off-policy state-action value functions (Q-functions) from offline datasets becomes harder as the task horizon grows. One-step temporal-difference (TD) learning bootstraps after every transition, so small per-step errors accumulate along the horizon, and early states can be badly misvalued even when t
阅读原文 · Haoran Xu, Pragya Srivastava, Xinjie Liu, Siddhant Agarwal, Amy Zhang
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文盯上的是离线强化学习里一个很实际的老毛病：任务越长，Q 函数越学不准。一步 TD 每走一步都在 bootstrap，误差沿着时间轴一点点累积，早期状态的价值可能错得离谱，但训练 loss 看起来还挺小。多步 TD 想缩短这条误差链，可它要沿着数据集轨迹多走几步，行为策略本身不够好时，每多跟一个动作就多一份偏差，而且固定步数很难适配整条轨迹。 HQL...