Tag: applied-scientist
-
【AI 核心深度 M4-099】解释知识蒸馏的基本框架与温度的作用。（Knowledge Distillation Framework and the Role of Temperature $T$）深度数理推导与工程落地解析
学生学教师的软标签分布；温度 τ>1 使软标签更平滑、暴露类间相似性，提供比硬标签更丰富的监督。
-
【AI 核心深度 M4-100】解释剪枝的三种粒度。（Three Granularities of Model Pruning: Unstructured, Semi-Structured 2:4, and Structured）深度数理推导与工程落地解析
非结构化（单个权重，稀疏但硬件难加速）、结构化（整通道/头/层，硬件友好）、半结构化（N:M 稀疏，硬件支持）。
-
【AI 核心深度 M4-101】解释蒸馏中的 on-policy 与 off-policy 数据差异。（On-Policy vs. Off-Policy Data in Knowledge Distillation for LLMs）深度数理推导与工程落地解析
off-policy 用教师生成的数据（分布是教师的）；on-policy 用学生自己生成的数据（分布是学生的），后者缓解分布不匹配。
-
【AI 核心深度 M4-102】解释推理加速的几条路线与适用条件。（Systematic Categorization of Inference Acceleration Pathways and Trade-offs）深度数理推导与工程落地解析
量化、剪枝/稀疏、蒸馏/小模型、架构优化（注意力）、系统优化（批处理/融合/编译）、投机解码。
-
【AI 核心深度 M4-103】解释量化感知训练（QAT）与训练后量化（PTQ）的取舍。（Quantization-Aware Training (QAT) vs. Post-Training Quantization (PTQ)）深度数理推导与工程落地解析
PTQ 无需重训、成本低但精度损失较大（低比特时）；QAT 在训练中模拟量化、精度最好但需重训与标注数据。
-
【AI 核心深度 M4-104】解释量化的精度损失来源与缓解。（Sources of Quantization Precision Loss and Mitigation Techniques）深度数理推导与工程落地解析
损失来自舍入误差（受动态范围与粒度影响）、离群值撑大范围、以及误差在层间累积；用细粒度/离群值分离/缩放缓解。
-
【AI 核心深度 M4-105】解释 LoRA / QLoRA 与全量微调的取舍。（Trade-offs Between LoRA, QLoRA, and Full Fine-Tuning）深度数理推导与工程落地解析
LoRA 用低秩增量（A·B）只训少量参数；QLoRA 再叠加 4-bit 基座量化；全量微调上限最高但显存与灾难遗忘风险大。
-
【AI 核心深度 M4-078】解释 MoE 的微调与部署难点。（Fine-Tuning and Deployment Challenges of MoE Models）深度数理推导与工程落地解析
微调时路由器易漂移/专家过拟合、显存需求大；部署需多卡 EP、计算不规则、延迟不可预测。
-
【AI 核心深度 M4-079】解释共享专家与细粒度专家的设计（DeepSeek-MoE）。（Shared Experts and Fine-Grained Expert Architecture in DeepSeek-MoE）深度数理推导与工程落地解析
共享专家对所有 token 生效（捕捉通用知识），细粒度专家更多更小（组合更灵活），提升专家专业化与效率。
-
【AI 核心深度 M4-080】解释 MoE 的路由算法（Top-k / expert choice / soft routing）与取舍。（MoE Routing Algorithms: Top-k, Expert Choice, and Soft Routing）深度数理推导与工程落地解析
token-choice Top-k 最常见（token 选专家）；expert-choice 让专家选 token（天然均衡）；soft routing 全加权（失去稀疏优势）。