所属模块：
M2 · 经典机器学习 (Classical Machine Learning)| 专题分类：类别不平衡 (Class Imbalance Learning)| 难度等级：Medium
一、核心一句话结论 (One-Sentence Summary)
ROC 的 FPR 分母是大量负样本，被稀释后曲线仍好看；PR 曲线对少数类更敏感。
ROC-AUC uses False Positive Rate, which is diluted by a massive negative class; PR-AUC uses Precision, which directly penalizes false positives against the rare positive class.
二、核心考点要义 (Key Insights)
- 📌 ROC-AUC 在极端不平衡下过于乐观
- 📌 报告时同时给 precision/recall 与阈值
English Insights:
– FPR dilution: $text{FPR} = text{FP} / (text{FP} + text{TN}) approx text{FP} / text{TN}$ remains artificially small when TN is huge
– Precision sensitivity: $text{Precision} = text{TP} / (text{TP} + text{FP})$ drops drastically even with modest false alarms
– Baseline difference: ROC-AUC baseline is always 0.5; PR-AUC baseline equals the positive class prevalence $P / (P + N)$
三、核心数学原理与机理推导 (Mathematical Principles & Derivation)
$$text{PR-AUC} text{更敏感于} #P$$
数学原因：ROC 曲线的横轴 FPR=FP/(FP+TN)，分母包含全部负样本（TN 巨大）。当负样本极多时，即使 FP 数量不小，FPR 仍可能很小，使 ROC 曲线保持’好看’（AUC 接近 1）。而 PR 曲线的纵轴 Precision=TP/(TP+FP) 只涉及正类预测，不受负样本规模的稀释，故对少数类的检测质量更敏感。量化例子：设 1000 个样本中 10 个正类、990 个负类；若模型预测 100 个为正（其中 8 个真正类），则 TP=8、FP=92、FN=2：Precision=8/100=8%（很差），Recall=8/10=80%；而 FPR=92/990=9.3%（看起来还行）。ROC 会显示’中等不错’的表现，PR 则暴露 Precision 极低的事实。结论：在极端不平衡（正类占比 <5%）时，ROC-AUC 会给出误导性的乐观评价，应优先用 PR-AUC。
📖 查看英文严格数学推导 (English Mathematical Derivation)
Mathematical proof of dilution: Let positive count $P = 1,000$ and negative count $N = 1,000,000$ (prevalence $pi = 0.001$). Suppose a model produces $text{FP} = 10,000$ and $text{TP} = 800$.
ROC Metric: $text{TPR} = 800 / 1000 = 0.80$; $text{FPR} = 10,000 / 1,000,000 = 0.01$. The ROC curve reflects an apparently exceptional point $(text{FPR}=0.01, text{TPR}=0.80)$, yielding an ROC-AUC well above 0.95.
PR Metric: $text{Recall} = 0.80$, but $text{Precision} = 800 / (800 + 10,000) = 800 / 10,800 approx 0.074$. In practice, over 92% of flagged alerts are false alarms, which the PR curve exposes transparently.
四、工业级落地权衡与工程考量 (Industrial Trade-offs)
实践要点：① 两个指标都要报告——PR-AUC 敏感于正类，ROC-AUC 敏感于两类整体；报告两者并说明数据不平衡程度（正类比例），避免片面解读。② 与阈值无关性——PR-AUC 与 ROC-AUC 都是阈值无关的（对全阈值积分），但 PR-AUC 的基线是正类比例（而非 0.5），故必须与’随机分类器的 PR-AUC = 正类比例’比较（如正类 1% 时 PR-AUC 0.05 已显著优于随机）；这是 PR-AUC 解读的关键。③ F1 与 PR-AUC 的区别——F1 是单一阈值下的指标（依赖阈值选择），PR-AUC 是全阈值的综合；两者互补：PR-AUC 衡量排序质量，F1 衡量具体工作点的性能。④ 不平衡时的其他选择——若关注 top-k 精度（如推荐场景只推 top-100），用 Precision@K 或 Recall@K 更直接；若需单一标量，可用平衡准确率（balanced accuracy，两类召回的平均）或MCC（马修斯相关系数）（对不平衡鲁棒且考虑全部混淆矩阵元素）。⑤ 不要用 accuracy——多数类占比 99% 时，全预测为多数类的准确率就是 99%，完全无信息。
⚙️ 查看英文落地权衡分析 (English Systems & Trade-offs)
Diagnostic rules: Use ROC-AUC when the performance on both classes matters equally or when evaluating class-invariant ranking capability. Use PR-AUC when the positive class is rare and false positives carry high operational costs (fraud detection, rare cancer diagnosis, search ad click prediction).
五、常见面试避坑陷阱 (Common Pitfalls & Traps)
- ⚠️ 在极端不平衡下只看 ROC-AUC
- ⚠️ 把 PR-AUC 与 0.5 比较（其基线是正类比例）
English Pitfalls:
– Reporting an ROC-AUC of 0.98 on 1:1000 imbalanced data as evidence of high accuracy, masking a precision of under 5%
– Comparing PR-AUC to 0.5 as a baseline, forgetting that a random classifier’s PR-AUC equals the minority class prior $pi$
六、高频深度面试追问与预测 (Follow-Up Questions)
- 不平衡时准确率为啥没用？
- Can a model have an ROC-AUC of 0.99 and a PR-AUC of 0.05 simultaneously? Explain with numbers.
- F1 与 PR-AUC 的区别？
- Why is the baseline of PR-AUC dependent on the class distribution while ROC-AUC is strictly 0.5?
七、知识图谱对齐 (Knowledge Graph Anchor)
- 🔗 关联底层卡片：
类别不平衡求解：SMOTE 过采样、Focal Loss 与阈值调整(Class Imbalance: SMOTE, Focal Loss & Threshold Moving) - 🗺️ 知识图谱模块：
机器学习工程师高频考点导图
🔬 算法科学家与机器学习深度考察全量题库 (Science Depth)
本题收录于 TalentMe 算法科学家深度考察真题库 (Science Depth)。全库共 856 道硬核考点，深度覆盖数学统计、经典ML、深度学习、Transformer、大语言模型、多模态、推荐系统与 MLOps。支持 Jev 面经智能匹配、一键离线单文件 HTML 手册导出并直连 Obsidian 本地记忆。