Tag: model-compression-distillation
-
【AI 核心深度 M4-099】解释知识蒸馏的基本框架与温度的作用。（Knowledge Distillation Framework and the Role of Temperature $T$）深度数理推导与工程落地解析
学生学教师的软标签分布；温度 τ>1 使软标签更平滑、暴露类间相似性，提供比硬标签更丰富的监督。
-
【AI 核心深度 M4-100】解释剪枝的三种粒度。（Three Granularities of Model Pruning: Unstructured, Semi-Structured 2:4, and Structured）深度数理推导与工程落地解析
非结构化（单个权重，稀疏但硬件难加速）、结构化（整通道/头/层，硬件友好）、半结构化（N:M 稀疏，硬件支持）。
-
【AI 核心深度 M4-101】解释蒸馏中的 on-policy 与 off-policy 数据差异。（On-Policy vs. Off-Policy Data in Knowledge Distillation for LLMs）深度数理推导与工程落地解析
off-policy 用教师生成的数据（分布是教师的）；on-policy 用学生自己生成的数据（分布是学生的），后者缓解分布不匹配。
-
【AI 核心深度 M4-102】解释推理加速的几条路线与适用条件。（Systematic Categorization of Inference Acceleration Pathways and Trade-offs）深度数理推导与工程落地解析
量化、剪枝/稀疏、蒸馏/小模型、架构优化（注意力）、系统优化（批处理/融合/编译）、投机解码。
-
【AI 核心深度 M4-103】解释量化感知训练（QAT）与训练后量化（PTQ）的取舍。（Quantization-Aware Training (QAT) vs. Post-Training Quantization (PTQ)）深度数理推导与工程落地解析
PTQ 无需重训、成本低但精度损失较大（低比特时）；QAT 在训练中模拟量化、精度最好但需重训与标注数据。
-
【AI 核心深度 M4-104】解释量化的精度损失来源与缓解。（Sources of Quantization Precision Loss and Mitigation Techniques）深度数理推导与工程落地解析
损失来自舍入误差（受动态范围与粒度影响）、离群值撑大范围、以及误差在层间累积；用细粒度/离群值分离/缩放缓解。
-
【AI 核心深度 M4-105】解释 LoRA / QLoRA 与全量微调的取舍。（Trade-offs Between LoRA, QLoRA, and Full Fine-Tuning）深度数理推导与工程落地解析
LoRA 用低秩增量（A·B）只训少量参数；QLoRA 再叠加 4-bit 基座量化；全量微调上限最高但显存与灾难遗忘风险大。