Tag: transformer-architecture-anatomy
-
【AI 核心深度 M4-019】解释 Pre-LN、Post-LN 与 RMSNorm 在 Transformer 中的选择（Normalization Architecture Choices in Transformers: Pre-LN, Post-LN, and RMSNorm）深度数理推导与工程落地解析
Post-LN 需 warmup、深层不稳；Pre-LN 残差路径纯净、稳定但方差累积需末端 LN；RMSNorm 省均值计算，LLaMA 采用。
-
【AI 核心深度 M4-020】解释 Transformer 的初始化策略与 μP（Transformer Weight Initialization Strategies and Maximal Update Parametrization (μP)）深度数理推导与工程落地解析
标准初始化随宽度增大导致激活/更新尺度漂移；μP 给出’随宽度一致的初始化与 lr 缩放’，使超参可跨规模迁移。