所属模块：
M1 · 数学与统计基础 (Mathematics & Statistics Fundamentals)| 专题分类：假设检验 (Hypothesis Testing)| 难度等级：Medium
一、核心一句话结论 (One-Sentence Summary)
多次检验会抬高族错误率；校正方法控制 FWER 或 FDR。
Testing multiple hypotheses simultaneously inflates family-wise false positives exponentially: $1 – (1-alpha)^m$; controlled via conservative Bonferroni (FWER) or powerful Benjamini-Hochberg (FDR).
二、核心考点要义 (Key Insights)
- 📌 Bonferroni 保守（控制 FWER）
- 📌 BH 控制 FDR，功效更高，适合大规模检验（基因组/特征筛选）
English Insights:
– Family-Wise Error Rate (FWER): Probability of making at least one false positive: $text{FWER} = P(V ge 1) le 1 – (1-alpha)^m approx malpha$ for small $alpha$.
– Bonferroni correction: Rejects if $p_i le alpha / m$; guarantees strict FWER control but severely inflates Type II error (lacks power).
– False Discovery Rate (FDR): Expected proportion of false discoveries among rejections: $text{FDR} = Eleft[frac{V}{R} mid R > 0right]$.
– Benjamini-Hochberg (BH): Sorts p-values $p_{(1)} le dots le p_{(m)}$ and finds largest $k$ where $p_{(k)} le frac{k}{m}q$.
三、核心数学原理与机理推导 (Mathematical Principles & Derivation)
$$text{Bonferroni}: alpha’=alpha/m,qquad text{BH}: p_{(i)}lefrac{i}{m}q$$
问题的数学本质：m 个独立检验、每个用 α=0.05 时，至少一次假阳性的概率为 1−(1−α)^m；m=10 时约 40%，m=100 时约 99.4%。FWER（族错误率） = P(至少一次假阳性)，FDR（错误发现率） = E[假阳性数/总发现数]。两者对应不同的控制目标：FWER 更严格（要求零假阳性），FDR 允许一定比例的假阳性但控制其期望。Bonferroni 校正把每个检验的阈值设为 α/m，由并集界 P(∪Aᵢ)≤ΣP(Aᵢ) 保证 FWER≤α——简单但极其保守（m 大时功效骤降）。Benjamini-Hochberg (BH) 把 p 值升序排列后，找最大的 i 使 p₍ᵢ₎≤(i/m)q，拒绝前 i 个假设——控制 FDR≤q，功效远高于 Bonferroni。
📖 查看英文严格数学推导 (English Mathematical Derivation)
Proof of Bonferroni via Boole’s inequality (union bound): Let $A_i$ be the event of falsely rejecting true null hypothesis $H_{0, i}$. Then $text{FWER} = Pleft(bigcup_{i=1}^{m_0} A_iright) le sum_{i=1}^{m_0} P(A_i) = sum_{i=1}^{m_0} alpha’ = m_0 alpha’ le m alpha’$. Setting $alpha’ = frac{alpha}{m}$ strictly guarantees $text{FWER} le alpha$. The Benjamini-Hochberg procedure sorts p-values $p_{(1)} le p_{(2)} le dots le p_{(m)}$. It finds $k^* = maxleft{k : p_{(k)} le frac{k}{m} qright}$ and rejects all hypotheses $H_{(1)}, dots, H_{(k^*)}$. Benjamini & Hochberg (1995) proved that for independent test statistics, this procedure guarantees $text{FDR} le frac{m_0}{m} q le q$.
四、工业级落地权衡与工程考量 (Industrial Trade-offs)
选择依据：① FWER 适用场景——错误代价极高、发现数少（如临床试验的主要终点、安全相关指标）；② FDR 适用场景——大规模筛选、允许一定假阳性（如基因组差异表达分析、特征筛选、异常检测）。在 A/B 测试中，多重比较的处理方式略有不同：通常指定唯一的 primary metric（避免 p-hacking），其余指标作为护栏/探索性指标不做显著性声称；若必须同时看多个指标，可用分层检验（gatekeeping）或把多个指标合成单一综合指标（如 OEC，Overall Evaluation Criterion）。此外，序贯检验（允许中途查看）也需专门的 alpha-spending 方法，不能简单套用 Bonferroni。
⚙️ 查看英文落地权衡分析 (English Systems & Trade-offs)
In industrial experimentation: (1) A/B/n tests with multiple variants or safety guardrail metric checks use Bonferroni or Holm-Bonferroni to strictly avoid shipping damaging regressions. (2) Feature selection, genome-wide association, and metric exploration platforms use Benjamini-Hochberg FDR because tolerating 5% false discoveries among 100 claimed discoveries ($q=0.05$) yields far superior discovery power than conservative FWER.
五、常见面试避坑陷阱 (Common Pitfalls & Traps)
- ⚠️ 在 A/B 中对所有指标都做显著性声称（应用唯一主指标）
- ⚠️ 在需要严格控制时使用 BH（它允许假阳性）
English Pitfalls:
– Looking at 20 metrics and highlighting the single one with $p < 0.05$ without multiple testing correction (the Texas sharpshooter fallacy).
– Applying Bonferroni correction when metrics are near-perfectly correlated, resulting in massive over-correction.
六、高频深度面试追问与预测 (Follow-Up Questions)
- A/B 中同时看很多指标该怎么处理？
- How does the Holm-Bonferroni step-down procedure uniformly dominate standard Bonferroni in power?
- FWER 与 FDR 的区别？
- How does the Benjamini-Yekutieli (BY) procedure extend FDR control to arbitrary positive and negative dependencies?
七、知识图谱对齐 (Knowledge Graph Anchor)
- 🔗 关联底层卡片：
数理统计假说检验、P 值、I/II 类错误与统计功效(Hypothesis Testing, P-Values, Power & Type I/II Error) - 🗺️ 知识图谱模块：
数理基础思维导图
🔬 算法科学家与机器学习深度考察全量题库 (Science Depth)
本题收录于 TalentMe 算法科学家深度考察真题库 (Science Depth)。全库共 856 道硬核考点，深度覆盖数学统计、经典ML、深度学习、Transformer、大语言模型、多模态、推荐系统与 MLOps。支持 Jev 面经智能匹配、一键离线单文件 HTML 手册导出并直连 Obsidian 本地记忆。