全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

演进中的基础设施:面向 Agent 自适应的大规模 LLM 服务

Agentic workloads are a major source of LLM inference demand. Existing prefill--decode (PD) disaggregated serving systems offer limited flexibility for runtime adaptation of compute allocation and KV cache management, and rely on coarse signals that only partly capture the diverse and dynamic agent workload. These limi

阅读原文 · Hao Kang, Weili Xu, Ziyang Li, Zheng Du, Hanchen Li, Tian Xia, Song Bian, Tushar Krishna, Huizi Mao, Ion Stoica, Song Han

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

智能体负载正在变成 LLM 推理需求的大头,但服务框架的调度逻辑还停留在“按请求算”的阶段。这篇论文想做的事很直接: 让推理基础设施看懂 Agent 在干什么,然后跟着变 。 作者阵容里有 Ion Stoica 和 Song Han,前者是 vLLM 背后那条学术脉络上的关键人物,后者在高效推理系统上产出密集。这个组合本身就说明论文关心的不是单点优化,而是服...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出