Tag: module-m1
-
【AI 核心深度 M1-065】解释 JS 散度与它相对 KL 的改进。（Explain Jensen-Shannon (JS) Divergence and Its Structural Improvements Over KL Divergence）深度数理推导与工程落地解析
JS = KL 的对称化平滑版本，取值 [0, log2]，有界且对称；但两个分布支撑不重叠时仍饱和。
-
【AI 核心深度 M1-066】什么是 Wasserstein 距离？为什么 GAN 用它？（Define Wasserstein Distance (Earth Mover’s Distance) and Why WGAN Relies on It）深度数理推导与工程落地解析
推土机距离：把分布 p 搬到 q 的最小代价；即使支撑不重叠也有连续梯度。
-
【AI 核心深度 M1-067】解释最大熵原理与它在机器学习中的应用。（Explain the Principle of Maximum Entropy and Its Applications in Statistical Learning）深度数理推导与工程落地解析
在满足已知约束的分布中选熵最大（假设最少）的；导出指数族与逻辑回归等形式。
-
【AI 核心深度 M1-068】解释数据处理不等式与它的含义。（Explain the Data Processing Inequality and Its Information-Theoretic Implications）深度数理推导与工程落地解析
若 X→Y→Z 构成马尔可夫链，则 I(X;Z) ≤ I(Y;Z) ≤ I(X;Y)；处理不会增加信息。
-
【AI 核心深度 M1-069】什么是信息瓶颈（Information Bottleneck）？它如何解释表示学习？（Define the Information Bottleneck Principle and How It Explains Representation Learning in Deep Networks）深度数理推导与工程落地解析
在压缩输入（min I(X;Z)）与保留预测力（max I(Z;Y)）之间权衡；是表示学习的理论框架。
-
【AI 核心深度 M1-070】解释矩阵范数与谱范数，它们在哪里用到？（Explain Matrix Norms and Spectral Norm, and Detail Where They Are Used in Deep Learning）深度数理推导与工程落地解析
Frobenius 范数是元素平方和开根；谱范数是最大奇异值（最大伸缩倍数）。
-
【AI 核心深度 M1-071】解释协方差矩阵的几何意义与它的性质。（Explain the Geometric Meaning and Spectral Properties of Covariance Matrices）深度数理推导与工程落地解析
对称半正定；特征值给出各主方向方差，特征向量给出主方向（PCA 的几何基础）。
-
【AI 核心深度 M1-072】解释 Kahan 求和与浮点误差累积。（Explain Kahan Summation and How It Mitigates Floating-Point Accumulation Errors）深度数理推导与工程落地解析
浮点加法不满足结合律；大数吃小数导致误差累积，Kahan 用补偿项恢复精度。
-
【AI 核心深度 M1-060】解释工具变量（IV）与两阶段最小二乘，并说明 LATE 的含义。（Explain Instrumental Variables (IV), Two-Stage Least Squares (2SLS), and the Local Average Treatment Effect (LATE)）深度数理推导与工程落地解析
IV 通过只影响处理、不直接影响结果的变量识别因果；2SLS 分两步回归；估计的是依从者的局部效应。