Tag: bias-variance-tradeoff-model-selection
-
【AI 核心深度 M2-100】解释 AIC、BIC 与调整 R²，以及它们与交叉验证的关系（AIC, BIC, and Adjusted R-squared: Penalized Metrics vs Cross-Validation）深度数理推导与工程落地解析
信息准则 = 拟合优度 − 复杂度惩罚；AIC/BIC 用解析惩罚近似 CV，BIC 惩罚更强且有一致性。
-
【AI 核心深度 M2-101】解释学习曲线与验证曲线，以及各自的诊断用途（Learning Curves vs Validation Curves: Formulations and Diagnostic Workflows）深度数理推导与工程落地解析
学习曲线：性能随训练集大小变化（诊断数据量是否足够）；验证曲线：性能随超参变化（诊断超参取值）。
-
【AI 核心深度 M2-102】解释模型集成如何影响偏差与方差（How Model Ensembling Impacts Bias and Variance）深度数理推导与工程落地解析
平均降方差（Bagging）；串行纠错降偏差（Boosting）；Stacking 可同时降两者但需防泄漏。
-
【AI 核心深度 M2-103】在什么情况下增加数据无法改善性能？（When Does Adding More Data Fail to Improve Model Performance?）深度数理推导与工程落地解析
高偏差（模型族无法表达真函数）、噪声主导（不可约误差大）、分布偏移、标签质量差。
-
【AI 核心深度 M2-104】解释“没有免费午餐”定理与归纳偏置的含义（The ‘No Free Lunch’ Theorem and Inductive Bias Explained）深度数理推导与工程落地解析
不存在对所有问题都最优的算法；任何算法的优势都来自对特定问题结构的假设（归纳偏置）。
-
【AI 核心深度 M2-017】如何用学习曲线诊断高偏差与高方差？（Detail How to Diagnose High Bias vs. High Variance Using Learning Curves and Remediation Strategies）深度数理推导与工程落地解析
训练与验证误差都高且接近 → 高偏差；训练低、验证高且差距大 → 高方差。
-
【AI 核心深度 M2-020】解释双重下降（double descent）现象。（Explain the Double Descent Phenomenon in Modern Machine Learning）深度数理推导与工程落地解析
模型复杂度超过插值阈值后，测试误差先升后降；与经典 U 型曲线不同。
-
【AI 核心深度 M2-021】什么是模型选择中的’选择性偏差’？如何避免。（Define Selection Bias in Model Selection and How to Prevent Leakage in Predictive Pipelines）深度数理推导与工程落地解析
在大量模型/超参中挑验证集最好的，会高估真实性能；需用独立测试集或嵌套 CV。