Tag: gbdt-xgboost
-
【AI 核心深度 M2-107】解释 GBDT 如何支持自定义损失函数（How GBDT Supports Custom Loss Functions via First and Second Order Gradients）深度数理推导与工程落地解析
只需损失一阶可导，每轮用树拟合负梯度；二阶方法（XGBoost）还需二阶导。
-
【AI 核心深度 M2-108】解释 GBDT 的单调性约束与它的业务价值（Monotonicity Constraints in GBDT and Their Industrial Business Value）深度数理推导与工程落地解析
强制模型对指定特征的响应单调；牺牲少量精度换取可解释性与合规性。
-
【AI 核心深度 M2-109】解释 GBDT 处理类别不平衡的方法与它们的差异（Methods for Handling Class Imbalance in GBDT and Their Trade-offs）深度数理推导与工程落地解析
scale_pos_weight 调正类权重、采样、或自定义损失（Focal）；本质都是调整损失权重。
-
【AI 核心深度 M2-110】解释 GBDT 的早停与最优迭代数的确定（Early Stopping in GBDT and Determining the Optimal Number of Iterations）深度数理推导与工程落地解析
用验证集监控，在指标不再改善时停止；早停同时是正则化与效率优化。
-
【AI 核心深度 M2-111】解释 GBDT 的特征重要度与 SHAP 值的差异（Differences Between GBDT Built-in Feature Importance and TreeSHAP Values）深度数理推导与工程落地解析
MDI 基于不纯度下降（快但偏向高基数）；SHAP 基于博弈论（一致、逐样本，但计算贵）。
-
【AI 核心深度 M2-046】比较 XGBoost 与 LightGBM 的工程差异。（Compare XGBoost and LightGBM: Histogram Binning, GOSS, EFB, and Tree Growth Strategies）深度数理推导与工程落地解析
LightGBM 用直方图分裂 + 叶子优先生长（leaf-wise）+ GOSS + EFB，更快但更易过拟合。
-
【AI 核心深度 M2-033】XGBoost 相比传统 GBDT 有哪些改进？（Survey the Core Algorithmic and Systems Innovations of XGBoost Over Traditional GBDT）深度数理推导与工程落地解析
二阶泰勒近似 + 显式正则项 + 加权分位点分裂 + 稀疏感知 + 列块并行。
-
【AI 核心深度 M2-035】CatBoost 解决了什么问题？什么是 ordered boosting。（Explain Prediction Shift in GBDT and How CatBoost Resolves It via Ordered Boosting and Target Statistics）深度数理推导与工程落地解析
解决目标编码的泄漏与预测偏移；ordered boosting 用有序排列生成无偏的梯度估计。
-
【AI 核心深度 M2-032】解释 GBDT 的核心思想：为什么是’拟合负梯度’。（Explain the Core Concept of GBDT: Why Sequential Trees Fit the Negative Gradient）深度数理推导与工程落地解析
每轮拟合当前模型损失函数的负梯度（伪残差），等价于在函数空间做梯度下降。