文章 (5 / 6)

所有文章。

• llama.cpp 里的 lm-head：Q6_K、Q4_0，以及为什么 4B 不一定提速

  5 Jun, 2026

  从 Qwen3/Qwen3.5 的 tied embedding 看 lm-head 性能瓶颈：0.6B 改 output-q4_0 有收益，4B 上收益有限甚至可能变慢。

• llama.cpp HTP 调优：少用 CPU 为什么反而慢

  5 Jun, 2026

  用 Qwen3-0.6B 的 profile 解释一个朴素误区：减少 CPU 参与不等于更快。HTP attention、SET_ROWS、图切分和真实 token/s 的关系。

• llama.cpp 跑 Qwen3-0.6B：HTP 上从 20 到 70 token/s

  5 Jun, 2026

  一次 Snapdragon Hexagon HTP 上的真实调优记录：OPPOLL、算子过滤、lm-head 量化，以及为什么 70 token/s 不是“全上 NPU”跑出来的。

• llama.cpp Hexagon NPU 量化：Q4_0 / IQ4_NL / MXFP4 / Q8_0

  30 May, 2026

  对比 llama.cpp Hexagon HTP 支持的 Q4_0、Q4_1、IQ4_NL、MXFP4、Q8_0 格式，解释存储表示、反量化 kernel 和格式选择。

• TVM 是什么：层级架构与编译流水线

  29 May, 2026

  通过 TVM 的 Relax、TIR、Target 和 Runtime 分层，跟踪一个 matmul + add 模型如何从图表示逐步编译为目标设备代码。

• llama.cpp 高通 Hexagon NPU 初跑 Qwen3.5 4B 模型

  29 May, 2026

  记录 llama.cpp 在 Snapdragon 8 Gen 2 / Hexagon HTP v73 上部署 Qwen3.5-4B 的模型转换、交叉编译、板端运行和实测速度。