以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
LLM pruning must preserve quality while meeting hardware- and workload-specific constraints on latency, throughput, and memory. Existing pruning workflows often target parameter counts, requiring practitioners to manually select model sizes that meet latency, throughput, and GPU memory limits. However, parameter count
阅读原文 · Sheldon Liang, Ali Taghibakhshi, Saurav Muralidharan, Sharath Turuvekere Sreenivas, Ashwath Aithal, Pavlo Molchanov, Nima Tajbakhsh
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文解决的是模型压缩里一个很实际的错位:大家按参数量选模型,硬件却按延迟、吞吐和显存给答案。 参数量砍到一半,延迟可能没降多少,也可能直接崩掉。因为真实性能取决于架构、负载、硬件和推理引擎的组合。AutoCompress 想做的事,是把这个组合直接塞进压缩搜索过程里。 如果做端侧部署、长上下文推理或推理服务成本优化,这篇值得看一眼。 这篇论文想解决什么...