Tag: optimization

百度与 NCCL 分布式训练通信基石，将 N 块 GPU 组织为逻辑环，Scatter-Reduce 与 All-Gather 达到通信带宽理论极限。

大厂面试手撕训练骨架标准答案，显式呈现 autocast 上下文、动态损失缩放与跳步更新。

平滑权重震荡的泛化神器，生成模型（Diffusion）与自监督学习（BYOL/MoCo）标配。

大模型对抗梯度爆炸的生命线，计算所有参数梯度的全局 L2 范数并按比例等比缩放。

现代大模型训练标准范式，初始线性预热保护随机权重，后续余弦退火平滑收敛到极小值。

现代深度学习优化器之王，一阶动量二阶方差偏差校正，AdamW 正确解耦 L2 权重衰减。