Tag: optimizers-second-order-methods

经典动量先按当前梯度更新速度再走；Nesterov 先在’前瞻点’计算梯度再修正，收敛更快、震荡更小。

Lion 只保留动量的符号作为更新方向，用符号一致性决定衰减；更省显存、更快，但需更小 lr 与更大权重衰减。

Adafactor 用梯度的行/列二阶矩低秩近似 v，省到 O(n/d)；8-bit Adam 用量化+块缩放把状态压到 1/4。

Adagrad 累积所有历史梯度平方（学习率单调衰减→后期停滞）；RMSProp 用 EWMA 替代累积；AdaDelta 用参数更新量的 RMS 替代固定 lr。

二阶法用 Hessian（或其近似）预条件梯度；自然梯度用 Fisher 信息矩阵。精度高但每步成本 O(n²)~O(n³)，深度网络不可行。

m、v 初始化为 0，早期 EWMA 被 0 拉低、严重低估真实矩；除以 (1−β^t) 修正。

SGD 只用一阶梯度；Momentum 累积历史梯度形成速度；Adam 同时用一阶矩（动量）与二阶矩（自适应步长）。

Adam 把 L2 正则混入梯度（等价于用自适应 lr 缩放的正则）；AdamW 解耦权重衰减，直接在参数上乘衰减因子。

ε 防止 v̂ 为 0 时除零，同时在下界约束步长上界（η/ε）；LLM 常用 1e-8，某些低精度训练用 1e-6。

SGD 通常泛化更好（更平的极小值、更强隐式正则）；Adam 收敛更快但可能过拟合；大模型因规模与稳定性选 Adam。