Tag: science-depth
-
【AI 核心深度 M3-009】写出 Xavier 与 Kaiming 初始化的方差，并说明适用激活（Xavier and Kaiming Initialization: Mathematical Variances and Suitable Activations）深度数理推导与工程落地解析
Xavier 适合 tanh/sigmoid，Kaiming 适合 ReLU（考虑半区激活）。
-
【AI 核心深度 M3-010】解释“方差保持”原则，以及它与梯度稳定的关系（The ‘Variance Preservation’ Principle and Its Relation to Gradient Stability）深度数理推导与工程落地解析
若每层输出方差被放大或缩小，深层会指数爆炸/衰减；保持方差≈1 使梯度尺度稳定。
-
【AI 核心深度 M3-011】Transformer 中常见的初始化技巧有哪些？（Common Initialization Techniques in Transformers）深度数理推导与工程落地解析
缩放初始化（除以 √(2L)）、残差分支小初始化、LayerNorm 前零初始化、输出投影零初始化。
-
【AI 核心深度 M3-012】什么是 μP（最大更新参数化）？它解决什么问题（Maximal Update Parametrization (μP): Concepts and Hyperparameter Transfer）深度数理推导与工程落地解析
按宽度调整初始化与学习率，使最优超参在不同宽度下可迁移（超参迁移）。
-
【AI 核心深度 M3-013】比较 Sigmoid、Tanh、ReLU 的优缺点（Comparing Sigmoid, Tanh, and ReLU: Mathematical Properties and Trade-offs）深度数理推导与工程落地解析
Sigmoid/Tanh 饱和导致梯度消失且非零中心；ReLU 不饱和、计算快，但有死亡问题。
-
【AI 核心深度 M3-015】为什么 Transformer 用 GELU/SiLU 而不是 ReLU？（Why Modern Transformers Use GELU and SiLU Instead of ReLU）深度数理推导与工程落地解析
平滑激活在 0 附近可导、梯度更稳定，且实验上语言建模效果更好。
-
【AI 核心深度 M3-016】什么是门控线性单元（GLU）家族？为什么它们有效（The Gated Linear Unit (GLU) Family and Why They Excel in Large Language Models）深度数理推导与工程落地解析
用一路输入作为’门’乘另一路，实现输入依赖的非线性调制；表达力强于单路激活。
-
【AI 核心深度 M3-017】激活函数的选择如何影响数值稳定性与训练速度？（How Activation Function Choice Impacts Numerical Stability and Training Speed）深度数理推导与工程落地解析
饱和函数数值不稳（梯度消失 + exp 溢出）；分段/平滑函数更快；注意 FP16 下的溢出区间。
-
【AI 核心深度 M3-018】激活函数的平滑性如何影响量化（INT8/INT4）推理的精度？（How Activation Smoothness Impacts INT8/INT4 Quantization Accuracy）深度数理推导与工程落地解析
ReLU 有精确零点、分段线性，量化友好；GELU/SiLU 平滑且分布连续，量化误差更大，需逐 token 动态量化或保留高精度。