全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

TAO:面向 LLM 智能体服务的工具感知联合调度

Agentic services alternate between model inference on clustered GPUs and external tools on distributed CPUs. In this scenario, existing systems (1) overlook tool-return readiness in service evaluation, wasting limited resources, and (2) use heuristic strategies to decide admission and placement on GPUs, resulting in su

阅读原文 · Shuhuai Li, Shengdong Ye, Dongdong Ge, Yinyu Ye, Jianghao Lin

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

智能体服务有个容易被忽略的调度难题:模型推理跑在 GPU 集群上,工具调用跑在分散的 CPU 上。这两边节奏不一致,现有系统往往只顾着看 GPU 忙不忙,却没把“工具那边什么时候能返回结果”算进去。 TAO 这篇论文就是冲着这个缝隙来的。它要回答的问题是:当一个会话正在等工具返回时,调度器该不该先把 GPU 资源让给别人,又该在什么时候把它接回来。 原文链接...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出