Tag: gradient-vanishing-explosion

深层链式相乘使梯度按层数指数衰减/放大；用残差、归一化、合理初始化、门控（LSTM）与梯度裁剪缓解。

by value 逐元素截断到 [−c,c]，会改变梯度方向；by norm 按全局范数等比缩放，保持方向不变。

梯度噪声尺度 g=tr(Σ)/|G|² 衡量噪声与信号的比；它随 batch 增大而下降（∝1/B），决定临界 batch。

逐层记录梯度范数、更新范数与参数范数；查单调衰减（消失）、尖峰（爆炸）、层间失衡与 dead 单元。

不同任务的梯度方向可能相反（余弦相似度<0），直接求和会相互抵消；用 PCGrad、GradNorm、不确定性加权等处理。

残差提供恒等直通路径（Jacobian 含 I），归一化稳定每层输入分布；两者合起来使深层网络的梯度尺度不随深度衰减。

训练中 loss 突然上升（常伴 grad_norm 尖峰），多由特定数据批次或数值问题引起；用回滚、跳过批次、降 lr、裁剪缓解。

输出层 logit 随隐藏维度增大而增大，导致 softmax 梯度饱和、embedding 梯度失衡；用 logit 缩放/μP 修正。

逐层按’梯度范数 / 参数范数’的比值裁剪，自适应各层尺度；比全局裁剪更能处理层间梯度失衡。

梯度噪声使参数在极小值附近随机游走，偏好’噪声引起的 loss 上升小’的平坦解；噪声 ∝η/B，是隐式正则。