全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

按需精度:小型本地模型在不确定解码步提升权重比特

Local decoding usually fixes one weight precision for the whole generation. We study a different allocation: store 8-bit weights, decode with their top 4 bits, and redo a step at 8 bits only when the low-precision output distribution looks uncertain (entropy above a threshold or a small top-two margin). Quantization is

阅读原文 · Mohammed Nayeem Khan, Logesh L, Aliyas Ahmad Misri

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

这篇论文的问题很具体,也很工程: 本地小模型解码时,权重精度能不能按需给? 现在的做法通常是一整段生成固定一个精度,要么全程 8-bit,要么全程 4-bit。这篇论文试的是另一种分配:权重存 8-bit,默认用高 4 位解码,只有当低精度输出的分布看起来“不确定”时,才把这一步重做成 8-bit。 模型是 Qwen3-0.6B,基准是 GSM8K,量化是模...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出