2026 大模型压缩、量化与蒸馏核心技术图谱

AI模型优化/压缩类似优质术语清单 (2026)

  1. 核心模型压缩类 (类似蒸馏/量化/剪枝)
  • 二值化 (Binarization):极端低精度(±1),最大压缩
  • SparseGPT / Wanda:高效一-shot剪枝,无需重训
  • AWQ / GPTQ:激活感知量化,精度更高
  • OWQ:异常值感知量化
  1. 高效微调/PEFT类 (类似LoRA)
  • QLoRA:LoRA + 量化,低显存微调
  • PEFT (Parameter-Efficient Fine-Tuning):参数高效微调总称
  • Adapter / Prefix-Tuning:轻量适配器方法
  • Dobi-SVD:低秩分解微调变体
  1. 架构/高级优化类
  • MoE (Mixture of Experts):混合专家,只激活部分模块
  • Speculative Decoding:推测解码,加速推理
  • Early Exit:早期退出,动态计算
  • 低秩分解 (Low-Rank Factorization / SVD):矩阵分解压缩
  1. 其他高实用术语
  • 参数共享 (Parameter Sharing)
  • 混合压缩Pipeline (Pruning + Distillation + Quantization)
  • Self-Distillation 变体 (On-Policy / Solo Distillation)
#模型压缩#量化#剪枝#微调#LoRA#MoE#推理加速#PEFT

关联工程母题系统与实测说明:

本篇「2026 大模型压缩、量化与蒸馏核心技术图谱」由 整理收录于 qilaidav 工程知识库,围绕 手机自动化矩阵与环境防关联 的生产环境架构设计、链路排障与确定性验证展开沉淀。完整系统模块、部署边界与技术规格请查阅方案主页:→ 查看 手机自动化矩阵与环境防关联 详情(架构诊断与定制交流:Telegram @BD8888 · hello@qilaidav.com · GitHub @qilaidev)。

免责声明与评测方法:本文所涉开源工具、模型基准与工程配置均基于实测环境与公开技术资料整理,仅供系统架构研发参考,不构成任何商业背书或投资建议。

— qilai · 摘自 Telegram 频道 @AIKB8