Skip to content

Tag: calculus-taylor-expansion

【AI 核心深度 M1-021】写出泰勒展开，并说明梯度、海森矩阵在优化中的角色。（Formulate Taylor Expansion and Explain the Respective Roles of Gradients and Hessians in Optimization）深度数理推导与工程落地解析

2026-10-01

一阶项给梯度下降方向，二阶项（海森）描述曲率，决定步长与收敛速度。
【AI 核心深度 M1-022】解释链式法则与反向传播的关系。（Explain the Mathematical Relationship Between the Chain Rule and Backpropagation on Computation Graphs）深度数理推导与工程落地解析

2026-10-01

反向传播是链式法则在计算图上的高效实现：前向存中间值，反向按拓扑逆序累乘局部梯度。
【AI 核心深度 M1-023】什么是雅可比矩阵与向量-雅可比积（VJP）？为什么框架都用 VJP。（Define the Jacobian Matrix and Vector-Jacobian Product (VJP), and Explain Why ML Frameworks Rely on VJP）深度数理推导与工程落地解析

2026-10-01

雅可比是多元函数的偏导矩阵；VJP 直接算’向量×雅可比’而不显式构造雅可比，省内存。
【AI 核心深度 M1-024】解释拉格朗日乘子法，说明它如何把约束优化转为无约束。（Explain the Method of Lagrange Multipliers and How It Transforms Constrained Optimization into Unconstrained Optimization）深度数理推导与工程落地解析

2026-10-01

把约束乘上 λ 加入目标；最优解处目标梯度与约束梯度共线。
【AI 核心深度 M1-025】解释二阶充分条件与鞍点，以及深度学习为何不怕鞍点。（Explain Second-Order Sufficient Conditions and Saddle Points, and Why Deep Learning Escapes Saddle Points）深度数理推导与工程落地解析

2026-10-01

海森正定 → 严格局部极小；不定 → 鞍点。高维空间中鞍点远多于局部极小，但 SGD 噪声能逃离鞍点。