论文精读
【ICLR 2024】OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models
OmniQuant 用可学习权重裁剪（LWC）和可学习等价变换（LET），在逐块量化误差最小化框架里用 SGD 学少量量化参数，把 LLM 压到 W4A4/W2A16 并保持接近 QAT 的精度。本文拆解两个模块的公式、代价，以及论文的实验证据与局限。
【ICML 2023】FlexRound: Learnable Rounding based on Element-wise Division for Post-Training Quantization
FlexRound 把 PTQ 的权重舍入从逐元素加法改成逐元素除法，用 W_hat = s1·round(W/(s1⊙S2⊙s3)) 同时学习公共网格步长和每个权重的缩放。本文拆解公式、reciprocal 梯度性质、消融实验与实验覆盖。
【arXiv】Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models
更新于:从 n-gram 哈希、上下文门控和模型内的数据流出发，解读 DeepSeek Engram 怎样与 Transformer、MoE 配合，核对能力收益，并解释它为何仍然自回归、也不等于推理加速开关。
【arXiv】Activation Quantization of Vision Encoders Needs Prefixing Registers
更新于:RegCache 发现视觉编码器中的高范数 outlier 会严重放大量化误差，并通过中间层 prefix registers 和 token deletion 改善 CLIP、SigLIP、DINOv2 等模型的低比特量化。
【ICLR 2024】Vision Transformers Need Registers
更新于:Vision Transformers Need Registers 解释 ViT 中背景高范数 token 的来源，并用额外的 register tokens 把模型的隐式工作空间显式化。
【arXiv】INP-Former++: Advancing Universal Anomaly Detection via Intrinsic Normal Prototypes and Residual Learning
INP-Former++ 在 INP-Former 的单图内在正常原型上加入 Soft INP Coherence Loss 和 Residual Learning，把方法扩展到 semi-supervised、few-shot、multi-class 和一定 zero-shot 场景。
【arXiv】One Dinomaly2 Detect Them All: A Unified Framework for Full-Spectrum Unsupervised Anomaly Detection
Dinomaly2 在 Dinomaly 的特征重建框架上加入 Context-Aware Recentering，并把同一套最小化设计扩展到多视角、多模态、few-shot 和 inference-unified MUAD。
【CVPR 2025】Exploring Intrinsic Normal Prototypes within a Single Image for Universal Anomaly Detection
INP-Former 从测试图像自身动态提取 Intrinsic Normal Prototypes，并用这些正常原型指导特征重建，缓解训练集正常原型与测试图不对齐的问题。
【CVPR 2025】Dinomaly: The Less Is More Philosophy in Multi-Class Unsupervised Anomaly Detection
Dinomaly 用强预训练 ViT 特征、Noisy Bottleneck、Linear Attention 和 Loose Reconstruction，缓解多类别无监督异常检测中的 identity mapping 问题。