Tag: module-m3
-
【AI 核心深度 M3-007】解释梯度检验（gradient checking）的原理与实现细节（Gradient Checking: Principles, Finite Differences, and Implementation Details）深度数理推导与工程落地解析
用有限差分近似数值梯度，与解析梯度比对；关键是中心差分、相对误差判据与 double 精度。
-
【AI 核心深度 M3-008】为什么不能全零初始化？（Why All-Zero Weight Initialization Fails in Neural Networks）深度数理推导与工程落地解析
对称性无法打破：同层神经元梯度相同、永远学出相同权重。
-
【AI 核心深度 M3-009】写出 Xavier 与 Kaiming 初始化的方差，并说明适用激活（Xavier and Kaiming Initialization: Mathematical Variances and Suitable Activations）深度数理推导与工程落地解析
Xavier 适合 tanh/sigmoid，Kaiming 适合 ReLU（考虑半区激活）。
-
【AI 核心深度 M3-010】解释“方差保持”原则，以及它与梯度稳定的关系（The ‘Variance Preservation’ Principle and Its Relation to Gradient Stability）深度数理推导与工程落地解析
若每层输出方差被放大或缩小，深层会指数爆炸/衰减；保持方差≈1 使梯度尺度稳定。
-
【AI 核心深度 M3-011】Transformer 中常见的初始化技巧有哪些？（Common Initialization Techniques in Transformers）深度数理推导与工程落地解析
缩放初始化（除以 √(2L)）、残差分支小初始化、LayerNorm 前零初始化、输出投影零初始化。
-
【AI 核心深度 M3-012】什么是 μP（最大更新参数化）？它解决什么问题（Maximal Update Parametrization (μP): Concepts and Hyperparameter Transfer）深度数理推导与工程落地解析
按宽度调整初始化与学习率，使最优超参在不同宽度下可迁移（超参迁移）。
-
【AI 核心深度 M3-013】比较 Sigmoid、Tanh、ReLU 的优缺点（Comparing Sigmoid, Tanh, and ReLU: Mathematical Properties and Trade-offs）深度数理推导与工程落地解析
Sigmoid/Tanh 饱和导致梯度消失且非零中心；ReLU 不饱和、计算快，但有死亡问题。
-
【AI 核心深度 M3-015】为什么 Transformer 用 GELU/SiLU 而不是 ReLU？（Why Modern Transformers Use GELU and SiLU Instead of ReLU）深度数理推导与工程落地解析
平滑激活在 0 附近可导、梯度更稳定，且实验上语言建模效果更好。
-
【AI 核心深度 M3-016】什么是门控线性单元（GLU）家族？为什么它们有效（The Gated Linear Unit (GLU) Family and Why They Excel in Large Language Models）深度数理推导与工程落地解析
用一路输入作为’门’乘另一路，实现输入依赖的非线性调制；表达力强于单路激活。