文章 (2 / 6)
所有文章。
从 LoRA 到 QLoRA、QA-LoRA：低秩更新如何进入量化模型
用一个完整的数值例子解释 LoRA、QLoRA 和 QA-LoRA 的训练、推理与合并流程，并拆开 QA-LoRA 官方实现中的 group pooling 和 qzeros 写回。
从权重角度理解均匀量化与向量量化
用权重矩阵、scale/offset、码本和索引，拆开解释均匀量化与向量量化到底在压缩什么、如何反量化，以及为什么码本大小会决定 bit 数。
HQQ 算法解读：不用校准数据，怎样把大模型权重压到 4 bit
从 Dropbox HQQ 源码出发，拆解分组非对称量化、half-quadratic 零点优化、bit packing 与推理路径，并说明 axis、group size 和 backend 该怎样选。
DINOv3 做 W8A8 PTQ：一次 FP 激活分布定位，把问题从猜测变成证据
DINOv3 ViT-B/16 的标准全图 W8A8 为何失效？64 张图的逐层 FP32 激活 profile 表明，block 2 MLP 的 learned register 与 patch token 出现数百倍动态范围差。
【arXiv】Activation Quantization of Vision Encoders Needs Prefixing Registers
更新于:RegCache 发现视觉编码器中的高范数 outlier 会严重放大量化误差，并通过中间层 prefix registers 和 token deletion 改善 CLIP、SigLIP、DINOv2 等模型的低比特量化。
【ICLR 2024】Vision Transformers Need Registers
更新于:Vision Transformers Need Registers 解释 ViT 中背景高范数 token 的来源，并用额外的 register tokens 把模型的隐式工作空间显式化。