所属模块：
M2 · 经典机器学习 (Classical Machine Learning)| 专题分类：特征工程 (Feature Engineering)| 难度等级：Medium
一、核心一句话结论 (One-Sentence Summary)
K 折内用其他折的标签均值编码本折；平滑向全局均值收缩，尤其保护低频类别。
Target encoding maps categories to expected target values; prevent severe overfitting using Empirical Bayes smoothing and strict out-of-fold cross-fitting.
二、核心考点要义 (Key Insights)
- 📌 m 是平滑强度（伪计数），n_c 是类别样本数
- 📌 必须用 out-of-fold 编码，否则严重泄漏
English Insights:
– Smoothing formula: $hat{S}c = lambda(n_c) bar{y}_c + (1 – lambda(n_c)) bar{y}$ with sigmoid or m-estimate weight}
– Overfitting risk: rare categories with $n_c=1$ trivially leak the target label without smoothing
– Out-of-fold (OOF) cross-fitting: encode training fold $k$ using statistics computed strictly on the other $K-1$ folds
三、核心数学原理与机理推导 (Mathematical Principles & Derivation)
$$text{enc}(c)=frac{n_ccdotbar y_c+mcdotbar y_{global}}{n_c+m}$$
两个关键机制：① 交叉拟合（out-of-fold encoding）——把训练集分为 K 折，对第 k 折的样本，用其余 K−1 折的标签均值作为其编码值。这样每个样本的编码不包含自己的标签，模拟了’预测时只有其他样本信息’的真实场景。若直接用全量数据的类别均值，则每个样本的编码都包含了自身标签（尤其当类别样本少时），模型会过度依赖该特征——表现为训练集上该特征重要度极高但测试集失效（典型的泄漏症状）。推理时用全量训练数据的类别均值编码（此时无泄漏风险，因为测试样本的标签未知）。② 平滑（shrinkage）——编码值向全局均值收缩：enc(c)=(n_c·ȳ_c+m·ȳ_global)/(n_c+m)。当类别样本数 n_c 大时，编码接近该类别的真实均值；当 n_c 小时（如只有 2 个样本），编码被拉向全局均值（避免用 2 个样本的均值做极端估计）。m 是平滑强度（伪计数）：m=0 不平滑（小类别极不稳定）、m→∞ 全用全局均值（无信息）；常用 m=10–100，或用经验贝叶斯自动估计（m ≈ 类别内方差/类别间方差）。
📖 查看英文严格数学推导 (English Mathematical Derivation)
Mathematical Formulation:
① Smoothing (Empirical Bayes / Micci-Barreca):
$hat{x}_c = lambda(n_c) bar{y}_c + (1 – lambda(n_c)) mu_{text{global}}$, where $bar{y}_c = frac{1}{n_c} sum_{i in c} y_i$ and $mu = frac{1}{N} sum_{i=1}^N y_i$.
Smoothing weight function: $lambda(n_c) = frac{1}{1 + e^{-(n_c – k)/f}}$ or $m$-estimate $lambda(n_c) = frac{n_c}{n_c + m}$. When sample count $n_c$ is small, $lambda to 0$, pulling the estimate toward the global prior $mu$. When $n_c$ is large, $lambda to 1$, trusting empirical category mean $bar{y}_c$.
② Out-of-Fold (OOF) Computation:
Partition training set into $K$ folds. For each fold $k$:
Compute $bar{y}_c^{(-k)}$ using only data from $D setminus D_k$. Apply this mapping to encode instances in $D_k$. For test data, encode using global statistics from all $K$ folds.
四、工业级落地权衡与工程考量 (Industrial Trade-offs)
实践要点：① 必须放进 Pipeline / CV 折内——交叉拟合只能在训练折内做；若在 CV 之外做目标编码，即使做了交叉拟合，也会因’用验证折的标签计算编码’而泄漏。正确做法是把目标编码器封装成 Transformer 放进 sklearn Pipeline。② 多类别/多值特征——对多分类目标，可为每类生成一个编码特征（one-vs-rest 的目标编码）；对多值类别特征（如一部电影的多个类型），可用’该值出现时的目标均值’聚合。③ 时间序列的特殊处理——不能用未来样本的标签编码过去样本；应用扩展窗口（只用历史数据）而非 K 折。④ m 的选择——可用交叉验证调优，或用经验贝叶斯：m 的最优值使编码的均方误差最小，约等于’类别内方差/类别间方差’；CatBoost 的 ordered target statistics 本质上是该思想的自动化（用随机排列的’过去’样本）。⑤ 与树模型的关系——LightGBM/CatBoost 可原生处理类别特征（CatBoost 从原理上避免泄漏），故若用这些库可不手动编码；XGBoost 需手动编码或 one-hot。⑥ 替代方案——若担心泄漏，可用计数编码（无标签信息，绝对安全）或嵌入（深度学习场景）；或对高基数类别直接用 one-hot + 正则（在维度可控时）。
⚙️ 查看英文落地权衡分析 (English Systems & Trade-offs)
Industrial implementation: In high-cardinality tabular datasets (e.g., zip codes, merchant IDs), smoothed OOF target encoding outperforms one-hot encoding by orders of magnitude in both memory footprint and tree split efficiency.
五、常见面试避坑陷阱 (Common Pitfalls & Traps)
- ⚠️ 用全量数据算类别均值（严重泄漏）
- ⚠️ 对低频类别不做平滑（编码极不稳定）
English Pitfalls:
– Computing target encoding globally on the entire training set without out-of-fold partitioning, causing catastrophic target leakage
– Omitting smoothing on rare categories, allowing single positive instances to be encoded as pure $1.0$
六、高频深度面试追问与预测 (Follow-Up Questions)
- m 如何选择？
- How does CatBoost’s ordered target encoding eliminate the need for standard K-fold cross-fitting?
- 为什么平滑能防过拟合？
- Why must small additive Gaussian noise often be injected into target-encoded features during training?
七、知识图谱对齐 (Knowledge Graph Anchor)
- 🔗 关联底层卡片：
特征工程实战：Target Encoding、组合特征与特征离散化(Feature Engineering: Target Encoding & Feature Stores) - 🗺️ 知识图谱模块：
机器学习工程师高频考点导图
🔬 算法科学家与机器学习深度考察全量题库 (Science Depth)
本题收录于 TalentMe 算法科学家深度考察真题库 (Science Depth)。全库共 856 道硬核考点，深度覆盖数学统计、经典ML、深度学习、Transformer、大语言模型、多模态、推荐系统与 MLOps。支持 Jev 面经智能匹配、一键离线单文件 HTML 手册导出并直连 Obsidian 本地记忆。