Tag: module-m4
-
【AI 核心深度 M4-095】如何为长序列任务选择架构？（Architecture Selection Guide for Long-Sequence Tasks）深度数理推导与工程落地解析
按’是否需要精确检索、序列长度、算力/延迟约束’决策：需检索用注意力（或混合），纯统计用 SSM，超长用稀疏/线性。
-
【AI 核心深度 M4-096】解释位置敏感任务与位置无关任务对架构的不同要求。（Architectural Requirements for Order-Sensitive vs. Order-Invariant Tasks）深度数理推导与工程落地解析
位置敏感任务（检索、复制、算术）需强位置信息（RoPE/位置编码）；位置无关任务（分类、情感）可弱化位置。
-
【AI 核心深度 M4-097】如何评估长序列模型的真实能力？（Systematic Evaluation of Long-Context Models: Beyond Needle-in-a-Haystack to RULER and Reasoning）深度数理推导与工程落地解析
用多任务基准（RULER：检索/多跳/聚合/QA）+ 不同位置与长度的热力图 + 与’仅局部基线’对比，而非只看 PPL。
-
【AI 核心深度 M4-098】解释序列模型的长度外推与长度泛化。（Length Extrapolation vs. Length Generalization in Sequence Models）深度数理推导与工程落地解析
外推指超出训练长度的表现；长度泛化指能否处理任意长度（含训练内插）。二者都受位置编码与注意力模式限制。
-
【AI 核心深度 M4-099】解释知识蒸馏的基本框架与温度的作用。（Knowledge Distillation Framework and the Role of Temperature $T$）深度数理推导与工程落地解析
学生学教师的软标签分布；温度 τ>1 使软标签更平滑、暴露类间相似性，提供比硬标签更丰富的监督。
-
【AI 核心深度 M4-100】解释剪枝的三种粒度。（Three Granularities of Model Pruning: Unstructured, Semi-Structured 2:4, and Structured）深度数理推导与工程落地解析
非结构化（单个权重，稀疏但硬件难加速）、结构化（整通道/头/层，硬件友好）、半结构化（N:M 稀疏，硬件支持）。
-
【AI 核心深度 M4-101】解释蒸馏中的 on-policy 与 off-policy 数据差异。（On-Policy vs. Off-Policy Data in Knowledge Distillation for LLMs）深度数理推导与工程落地解析
off-policy 用教师生成的数据（分布是教师的）；on-policy 用学生自己生成的数据（分布是学生的），后者缓解分布不匹配。
-
【AI 核心深度 M4-102】解释推理加速的几条路线与适用条件。（Systematic Categorization of Inference Acceleration Pathways and Trade-offs）深度数理推导与工程落地解析
量化、剪枝/稀疏、蒸馏/小模型、架构优化（注意力）、系统优化（批处理/融合/编译）、投机解码。
-
【AI 核心深度 M4-103】解释量化感知训练（QAT）与训练后量化（PTQ）的取舍。（Quantization-Aware Training (QAT) vs. Post-Training Quantization (PTQ)）深度数理推导与工程落地解析
PTQ 无需重训、成本低但精度损失较大（低比特时）；QAT 在训练中模拟量化、精度最好但需重训与标注数据。
-
【AI 核心深度 M4-104】解释量化的精度损失来源与缓解。（Sources of Quantization Precision Loss and Mitigation Techniques）深度数理推导与工程落地解析
损失来自舍入误差（受动态范围与粒度影响）、离群值撑大范围、以及误差在层间累积；用细粒度/离群值分离/缩放缓解。