Tag: quantization-acceleration

对称量化以 0 为原点（zero_point=0，只有 scale）；非对称量化用 (scale, zero_point) 映射任意区间 [min,max]。

INT4 是均匀整数格点；NF4 是’信息论最优’的非均匀格点（按正态分位数分布），更适合权重的高斯分布。

W8A8 同时量化权重与激活（速度最快但激活难量化）；W4A16 只量化权重到 4-bit（精度最稳、显存省 4 倍）。

KV cache 是长上下文显存大头；量化到 INT8/INT4 可省 2~4 倍，但 KV 动态且离群方向不同（K per-channel、V per-token）。

批处理摊薄权重读取（memory-bound 的关键）；融合减少中间张量读写；算子优化（如 Flash）提升单算子效率。

先定位瓶颈（roofline + profiling），再测端到端指标（TTFT/TPOT/吞吐/goodput）与质量（任务指标），并做消融与稳定性验证。

GPTQ 用二阶（Hessian）逐层最小化量化误差；AWQ 保护激活感知的显著通道；SmoothQuant 把激活难度转移到权重。