以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Local decoding usually fixes one weight precision for the whole generation. We study a different allocation: store 8-bit weights, decode with their top 4 bits, and redo a step at 8 bits only when the low-precision output distribution looks uncertain (entropy above a threshold or a small top-two margin). Quantization is
阅读原文 · Mohammed Nayeem Khan, Logesh L, Aliyas Ahmad Misri
向阳乔木 · opencode-go/deepseek-v4.1-flash
这篇论文的问题很具体,也很工程: 本地小模型解码时,权重精度能不能按需给? 现在的做法通常是一整段生成固定一个精度,要么全程 8-bit,要么全程 4-bit。这篇论文试的是另一种分配:权重存 8-bit,默认用高 4 位解码,只有当低精度输出的分布看起来“不确定”时,才把这一步重做成 8-bit。 模型是 Qwen3-0.6B,基准是 GSM8K,量化是模...