2026 大模型压缩、量化与蒸馏核心技术图谱
AI模型优化/压缩类似优质术语清单 (2026)
- 核心模型压缩类 (类似蒸馏/量化/剪枝)
- 二值化 (Binarization):极端低精度(±1),最大压缩
- SparseGPT / Wanda:高效一-shot剪枝,无需重训
- AWQ / GPTQ:激活感知量化,精度更高
- OWQ:异常值感知量化
- 高效微调/PEFT类 (类似LoRA)
- QLoRA:LoRA + 量化,低显存微调
- PEFT (Parameter-Efficient Fine-Tuning):参数高效微调总称
- Adapter / Prefix-Tuning:轻量适配器方法
- Dobi-SVD:低秩分解微调变体
- 架构/高级优化类
- MoE (Mixture of Experts):混合专家,只激活部分模块
- Speculative Decoding:推测解码,加速推理
- Early Exit:早期退出,动态计算
- 低秩分解 (Low-Rank Factorization / SVD):矩阵分解压缩
- 其他高实用术语
- 参数共享 (Parameter Sharing)
- 混合压缩Pipeline (Pruning + Distillation + Quantization)
- Self-Distillation 变体 (On-Policy / Solo Distillation)
关联工程母题系统与实测说明:
本篇「2026 大模型压缩、量化与蒸馏核心技术图谱」由 qilai 整理收录于 qilaidav 工程知识库,围绕 手机自动化矩阵与环境防关联 的生产环境架构设计、链路排障与确定性验证展开沉淀。完整系统模块、部署边界与技术规格请查阅方案主页:→ 查看 手机自动化矩阵与环境防关联 详情(架构诊断与定制交流:Telegram @BD8888 · hello@qilaidav.com · GitHub @qilaidev)。
免责声明与评测方法:本文所涉开源工具、模型基准与工程配置均基于实测环境与公开技术资料整理,仅供系统架构研发参考,不构成任何商业背书或投资建议。
— qilai · 摘自 Telegram 频道 @AIKB8