AI Infra

• 【ICLR 2024】OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models

  13 Oct, 2026

  OmniQuant 用可学习权重裁剪（LWC）和可学习等价变换（LET），在逐块量化误差最小化框架里用 SGD 学少量量化参数，把 LLM 压到 W4A4/W2A16 并保持接近 QAT 的精度。本文拆解两个模块的公式、代价，以及论文的实验证据与局限。

• 【ICML 2023】FlexRound: Learnable Rounding based on Element-wise Division for Post-Training Quantization

  13 Oct, 2026

  FlexRound 把 PTQ 的权重舍入从逐元素加法改成逐元素除法，用 W_hat = s1·round(W/(s1⊙S2⊙s3)) 同时学习公共网格步长和每个权重的缩放。本文拆解公式、reciprocal 梯度性质、消融实验与实验覆盖。