量化

含有标签 "量化".

• 【ICLR 2024】OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models

  13 Oct, 2026

  OmniQuant 用可学习权重裁剪（LWC）和可学习等价变换（LET），在逐块量化误差最小化框架里用 SGD 学少量量化参数，把 LLM 压到 W4A4/W2A16 并保持接近 QAT 的精度。本文拆解两个模块的公式、代价，以及论文的实验证据与局限。

• 【ICML 2023】FlexRound: Learnable Rounding based on Element-wise Division for Post-Training Quantization

  13 Oct, 2026

  FlexRound 把 PTQ 的权重舍入从逐元素加法改成逐元素除法，用 W_hat = s1·round(W/(s1⊙S2⊙s3)) 同时学习公共网格步长和每个权重的缩放。本文拆解公式、reciprocal 梯度性质、消融实验与实验覆盖。

• QNN W8A16 的 INT32 Bias Overflow：从极小 Scale 到稳定部署

  26 Aug, 2026

  记录 QNN HTP W8A16 中 INT32 bias 溢出的根因、公式、QueOpt 修复方式，以及在真实板端的验证结果。

• 从权重角度理解均匀量化与向量量化

  7 Aug, 2026

  用权重矩阵、scale/offset、码本和索引，拆开解释均匀量化与向量量化到底在压缩什么、如何反量化，以及为什么码本大小会决定 bit 数。

• HQQ 算法解读：不用校准数据，怎样把大模型权重压到 4 bit

  28 Jul, 2026

  从 Dropbox HQQ 源码出发，拆解分组非对称量化、half-quadratic 零点优化、bit packing 与推理路径，并说明 axis、group size 和 backend 该怎样选。

• DINOv3 做 W8A8 PTQ：一次 FP 激活分布定位，把问题从猜测变成证据

  22 Jul, 2026

  DINOv3 ViT-B/16 的标准全图 W8A8 为何失效？64 张图的逐层 FP32 激活 profile 表明，block 2 MLP 的 learned register 与 patch token 出现数百倍动态范围差。