OneCrewDev

一次 Snapdragon Hexagon HTP 上的真实调优记录：OPPOLL、算子过滤、lm-head 量化，以及为什么 70 token/s 不是“全上 NPU”跑出来的。

对比 llama.cpp Hexagon HTP 支持的 Q4_0、Q4_1、IQ4_NL、MXFP4、Q8_0 格式，解释存储表示、反量化 kernel 和格式选择。

通过 TVM 的 Relax、TIR、Target 和 Runtime 分层，跟踪一个 matmul + add 模型如何从图表示逐步编译为目标设备代码。

记录 llama.cpp 在 Snapdragon 8 Gen 2 / Hexagon HTP v73 上部署 Qwen3.5-4B 的模型转换、交叉编译、板端运行和实测速度。

TVM FFI 的核心骨架：引用计数对象系统、类型擦除容器 TVMFFIAny、Packed Function 调用约定，以及 DLPack 零拷贝张量传递。

OmniQuant 用可学习权重裁剪（LWC）和可学习等价变换（LET），在逐块量化误差最小化框架里用 SGD 学少量量化参数，把 LLM 压到 W4A4/W2A16 并保持接近 QAT 的精度。本文拆解两个模块的公式、代价，以及论文的实验证据与局限。

FlexRound 把 PTQ 的权重舍入从逐元素加法改成逐元素除法，用 W_hat = s1·round(W/(s1⊙S2⊙s3)) 同时学习公共网格步长和每个权重的缩放。本文拆解公式、reciprocal 梯度性质、消融实验与实验覆盖。

从 n-gram 哈希、上下文门控和模型内的数据流出发，解读 DeepSeek Engram 怎样与 Transformer、MoE 配合，核对能力收益，并解释它为何仍然自回归、也不等于推理加速开关。

结合 BigMoeOnEdge 的架构图和两组 Android 端实验，解释专家权重流式加载、缓存与 I/O 调度，并比较 mmap、repack 和 HTP Prefill 的性能边界。

从 TypeSafe 官方资料、Jev 解读站、Datawhale Cookbook 和独立论文出发，解释 Jev 的类型化决策 API、概率与置信度，并梳理闭源服务与开源生态的边界。

记录 QNN HTP W8A16 中 INT32 bias 溢出的根因、公式、QueOpt 修复方式，以及在真实板端的验证结果。