所属模块：
M1 · 数学与统计基础 (Mathematics & Statistics Fundamentals)| 专题分类：线性代数 (Linear Algebra)| 难度等级：Hard
一、核心一句话结论 (One-Sentence Summary)
xᵀAx>0 对所有非零 x 成立；保证严格凸与唯一极小点。
A symmetric matrix is positive definite if $x^T A x > 0$ for all non-zero $x$ (all eigenvalues $>0$), guaranteeing strict convexity, a unique global minimum, and valid covariance structures.
二、核心考点要义 (Key Insights)
- 📌 协方差矩阵半正定；若严格正定则各维无完全共线性
- 📌 海森矩阵正定 ⇒ 局部凸 ⇒ 二阶充分条件
English Insights:
– Equivalences: All eigenvalues $lambda_i > 0$, all leading principal minors $>0$ (Sylvester’s criterion), and Cholesky factorable $A = L L^T$.
– Optimization: A positive definite Hessian $nabla^2 f(x) succ 0$ guarantees that stationary points are strict local minima.
– Statistics: Covariance matrices $Sigma = E[(X-mu)(X-mu)^T]$ are always positive semi-definite (PSD) and positive definite if no variable is a linear combination of others.
三、核心数学原理与机理推导 (Mathematical Principles & Derivation)
$$Asucc0iff lambda_i>0 forall i$$
正定的定义是二次型恒正：xᵀAx>0 ∀x≠0，等价条件有三——所有特征值为正、所有顺序主子式为正（Sylvester 判据）、存在可逆 B 使 A=BᵀB（Cholesky 分解存在）。半正定（xᵀAx≥0）允许特征值为 0，即存在非零方向使二次型为 0。在优化中，海森矩阵正定 ⇔ 严格局部极小（二阶充分条件）：一阶导为零给出驻点，二阶导的正定性区分极小、极大与鞍点。在统计中，协方差矩阵 Σ 必然半正定（因为 Σ=E[(X−μ)(X−μ)ᵀ]，对任意 a 有 aᵀΣa=Var(aᵀX)≥0）；它严格正定当且仅当各维度不存在完全线性相关。
📖 查看英文严格数学推导 (English Mathematical Derivation)
Quadratic form definition: $f(x) = x^T A x$. Spectral decomposition of symmetric $A$ gives $A = Q Lambda Q^T$. Let $y = Q^T x ne 0$. Then $x^T A x = y^T Lambda y = sum_{i=1}^n lambda_i y_i^2$. This sum is strictly positive for all $y ne 0$ if and only if every $lambda_i > 0$. In optimization, Taylor expanding around stationary point $x^*$ (where $nabla f(x^*)=0$): $f(x^* + Delta x) = f(x^*) + frac{1}{2}Delta x^T nabla^2 f(x^*) Delta x + o(|Delta x|^2)$. If $nabla^2 f(x^*) succ 0$, then $f(x^* + Delta x) > f(x^*)$ for all small non-zero perturbations, proving $x^*$ is a strict local minimum.
四、工业级落地权衡与工程考量 (Industrial Trade-offs)
三个工程含义：① 共线性诊断——若协方差矩阵（或设计矩阵 XᵀX）奇异或接近奇异，说明存在完全/近似的线性相关，此时回归系数方差爆炸（Var(ŵⱼ)=σ²/[(1−Rⱼ²)Σ(xᵢⱼ−x̄ⱼ)²] 中 Rⱼ²→1），系数符号不稳定但预测仍可能准确——这正是岭回归（加 λI 使其正定）的动机；② Cholesky 分解的效率——正定矩阵可分解为 LLᵀ，使线性方程组求解与多元高斯采样（L·z，z~N(0,I)）从 O(n³) 降到 O(n³/3) 且数值稳定，是高斯过程与贝叶斯推断的核心；③ 非凸优化的鞍点——高维深度学习中，一阶驻点处海森通常既非正定也非负定（大量正负特征值），即鞍点远多于局部极小，这是 SGD 噪声能有效逃离鞍点的原因。
⚙️ 查看英文落地权衡分析 (English Systems & Trade-offs)
Positive definiteness ensures that Newton updates $Delta x = -(nabla^2 f)^{-1} nabla f$ point in a descent direction because $nabla f^T Delta x = -nabla f^T (nabla^2 f)^{-1} nabla f < 0$. If the Hessian has negative eigenvalues (saddle point or local maximum), standard Newton updates ascend. Quasi-Newton methods (BFGS) explicitly maintain positive definite Hessian approximations using rank-2 updates.
五、常见面试避坑陷阱 (Common Pitfalls & Traps)
- ⚠️ 把半正定当作正定（忽略了零特征值方向）
- ⚠️ 认为海森负定也可能是局部极小（必为鞍点或极大）
English Pitfalls:
– Empirical covariance matrices computed from fewer samples than features ($N < P$) are rank-deficient (PSD, not PD), causing division by zero in Gaussian likelihoods.
– Assuming non-symmetric matrices with positive diagonal elements are positive definite.
六、高频深度面试追问与预测 (Follow-Up Questions)
- 半正定但非正定意味着什么？
- Why is Cholesky decomposition ($A = L L^T$) twice as fast and far more stable than LU decomposition for positive definite matrices?
- 共线性如何影响线性回归系数？
- How does Ledoit-Wolf shrinkage guarantee that sample covariance matrices remain strictly positive definite?
七、知识图谱对齐 (Knowledge Graph Anchor)
- 🔗 关联底层卡片：
线性代数几何本质：SVD、特征分解与投影(Linear Algebra: SVD, Eigendecomposition & Projections) - 🗺️ 知识图谱模块：
数理基础思维导图
🔬 算法科学家与机器学习深度考察全量题库 (Science Depth)
本题收录于 TalentMe 算法科学家深度考察真题库 (Science Depth)。全库共 856 道硬核考点，深度覆盖数学统计、经典ML、深度学习、Transformer、大语言模型、多模态、推荐系统与 MLOps。支持 Jev 面经智能匹配、一键离线单文件 HTML 手册导出并直连 Obsidian 本地记忆。