【AI 核心深度 M1-035】列举深度学习中常见的数值不稳定来源，以及各自的缓解手段。（Enumerate Common Sources of Numerical Instability in Deep Learning and Their Standard Industrial Mitigations）深度数理推导与工程落地解析

所属模块：M1 · 数学与统计基础 (Mathematics & Statistics Fundamentals) | 专题分类：数值稳定性 (Numerical Stability) | 难度等级：Hard

一、核心一句话结论 (One-Sentence Summary)

来源：指数溢出、除零、log(0)、梯度爆炸/下溢、FP16 范围、方差过小归一化。

Numerical instability stems from vanishing/exploding gradients, floating-point overflow/underflow, matrix near-singularity, and precision loss; mitigated by normalization, gradient clipping, log-domain computation, and mixed precision design.

二、核心考点要义 (Key Insights)

• 📌 归一化层分母加 ε
• 📌 概率裁剪到 [1e-12, 1-1e-12]
• 📌 监控 grad norm 与 loss scale
• 📌 数值问题常表现为 loss NaN，需逐层定位

English Insights:
– Gradient explosion/vanishing: Mitigated via Residual connections, LayerNorm/RMSNorm, proper initialization (Xavier/Kaiming), and Gradient Clipping.
– Exponent overflow/underflow: Mitigated via Log-Sum-Exp tricks, subtracting max in Softmax, and log1p/expm1 formulations.
– FP16 dynamic range overflow: Mitigated via dynamic loss scaling, FP32 master weights, or upgrading to BF16/FP8 with scaling.
– Matrix division by zero: Mitigated via numerical guards (epsilon clamping: x / (norm + eps)).

三、核心数学原理与机理推导 (Mathematical Principles & Derivation)

$$text{缓解}: logtext{-sum-exp}, epsilon text{平滑}, text{clipping}, text{BF16}, text{LN/RMSNorm}$$

按算子分类更系统：① 指数类（softmax、sigmoid、exp、log-sum-exp）——溢出/下溢，缓解是减 max、分段计算、log1p；② 除法与归一化（LayerNorm、BatchNorm、attention 的 1/√d）——除零或方差过小，缓解是加 ε（且 FP16 下 ε 需放大到 1e-3 量级）；③ 对数类（交叉熵、KL、log 概率）——log(0)=−inf，缓解是 clip 概率到 [1e-12, 1−1e-12] 或用 log 域直接计算；④ 梯度类——爆炸（连乘 >1）或下溢（连乘 <1 或 FP16 范围），缓解是梯度裁剪、BF16、loss scaling、残差连接；⑤ 累加类（大数求和、注意力 logits）——浮点累加误差，缓解是 Kahan 求和、FP32 累加。

四、工业级落地权衡与工程考量 (Industrial Trade-offs)

系统化的排查与预防：① 定位手段——用 torch.autograd.set_detect_anomaly(True) 捕获产生 NaN 的具体算子；逐层 hook 监控激活与梯度的 min/max/norm；先看是哪一步（step）开始 NaN，再二分定位层。② 结构性的稳定化——残差连接保证梯度至少有恒等通路（+1），归一化层把激活分布拉回稳定尺度，二者共同改善数值条件，这也是深层网络能训练的前提。③ 训练层面的防线——梯度裁剪（clip by norm，LLM 常用 1.0）、BF16 替代 FP16、降低学习率、loss scaling 的动态调整。④ 监控指标——grad norm 分布、update/param 比值（健康范围约 10⁻³）、loss scale 值的变化趋势，这些指标往往在 loss 变 NaN 之前就已异常。

五、常见面试避坑陷阱 (Common Pitfalls & Traps)

• ⚠️ 只在 loss 变 NaN 后才排查（应监控 grad norm 提前预警）
• ⚠️ FP16 下沿用 FP32 的 ε 值（导致除零）

English Pitfalls:
– Placing epsilon outside the square root: torch.sqrt(var) + eps vs torch.sqrt(var + eps) (the former allows sqrt(0) whose gradient $frac{1}{2sqrt{0}}$ is inf).
– Clipping gradients element-wise instead of globally by norm, which alters the directional angle of the gradient vector.

六、高频深度面试追问与预测 (Follow-Up Questions)

1. 如何定位是哪一层产生 NaN？
2. Why is torch.sqrt(var + eps) mathematically safe in backward autodiff while torch.sqrt(var) + eps produces NaN gradients at zero?
3. 为什么残差与归一化能改善数值条件？
4. How does weight decay decouple from adaptive gradients in AdamW to prevent numerical divergence?

七、知识图谱对齐 (Knowledge Graph Anchor)

• 🔗 关联底层卡片：浮点运算、下溢/上溢、Log-Sum-Exp 稳定算子 (Floating-Point, Underflow/Overflow & LogSumExp)
• 🗺️ 知识图谱模块：数理基础思维导图