量化

含有标签 "量化".

• QNN W8A16 的 INT32 Bias Overflow：从极小 Scale 到稳定部署

  26 Aug, 2026

  记录 QNN HTP W8A16 中 INT32 bias 溢出的根因、公式、QueOpt 修复方式，以及在真实板端的验证结果。

• 从权重角度理解均匀量化与向量量化

  7 Aug, 2026

  用权重矩阵、scale/offset、码本和索引，拆开解释均匀量化与向量量化到底在压缩什么、如何反量化，以及为什么码本大小会决定 bit 数。

• HQQ 算法解读：不用校准数据，怎样把大模型权重压到 4 bit

  28 Jul, 2026

  从 Dropbox HQQ 源码出发，拆解分组非对称量化、half-quadratic 零点优化、bit packing 与推理路径，并说明 axis、group size 和 backend 该怎样选。

• DINOv3 做 W8A8 PTQ：一次 FP 激活分布定位，把问题从猜测变成证据

  22 Jul, 2026

  DINOv3 ViT-B/16 的标准全图 W8A8 为何失效？64 张图的逐层 FP32 激活 profile 表明，block 2 MLP 的 learned register 与 patch token 出现数百倍动态范围差。

• 【arXiv】Activation Quantization of Vision Encoders Needs Prefixing Registers

  更新于:21 Jul, 2026

  RegCache 发现视觉编码器中的高范数 outlier 会严重放大量化误差，并通过中间层 prefix registers 和 token deletion 改善 CLIP、SigLIP、DINOv2 等模型的低比特量化。

• SeqMSE 原理：用输出重构误差选择量化 Encoding

  8 Jul, 2026

  SeqMSE 的核心思想、候选 encoding 搜索、reconstruction loss 计算、block-wise 优化方式，以及它和 min/max、AdaRound、GPTQ 的区别。