所属模块：
M1 · 数学与统计基础 (Mathematics & Statistics Fundamentals)| 专题分类：实验设计 (A/B) (实验设计 (A/B))| 难度等级：Hard
一、核心一句话结论 (One-Sentence Summary)
先做指标一致性检查（分流/口径/延迟），再用分层与中介分析判断是’流量结构变化’还是’转化链路被削弱’。
A CTR increase alongside flat CVR typically indicates user intent dilution (traffic expansion pulling in lower-intent marginal users) or funnel cannibalization; diagnosed via funnel decomposition and quantile treatment analysis.
二、核心考点要义 (Key Insights)
- 📌 分层分析（按用户等级/品类）看效应是否被 Simpson 反转
- 📌 检查 CVR 的分母是否被 CTR 提升污染
- 📌 用序贯/长周期观察延迟转化
- 📌 必要时做 holdout 或 switchback 验证
English Insights:
– Funnel Decomposition: Overall Conversions = $text{Impressions} times text{CTR} times text{CVR}$. If CTR rises and CVR is constant, Total Conversions must strictly increase!
– Traffic Dilution / Selection Bias: Treatment attracts marginal users with lower baseline intent, dragging down the average CVR of the post-click cohort.
– Diagnostic Tools: Segmented CVR by user tenure/intent, Simpson’s Paradox decomposition, and Intent-to-Treat (ITT) evaluation on Total Revenue per Impression.
三、核心数学原理与机理推导 (Mathematical Principles & Derivation)
$$text{中介效应}: text{CTR}totext{detail view}totext{CVR}$$
分析框架分三层：① 先排除基础设施问题——SRM 检验、指标口径一致性（CVR 的分母是’点击’还是’访问’？若分母是点击，则 CTR 上升会自动改变 CVR 的分母构成，产生分母污染）、转化延迟（CVR 有更长滞后，短期观测会低估）、日志完整性。② 再做分解分析——把 CVR 按链路拆解（曝光→点击→详情页→加购→下单），看哪一环的转化率变化；用中介分析（mediation analysis）量化’CTR 提升通过哪些路径影响最终转化’，判断是部分中介（效果通过中间环节传导）还是被抵消（某环节转化率下降抵消了流量增长）。③ 最后做分层与结构分析——按用户等级/品类/新老用户分层，检查是否存在 Simpson 悖论（整体 CVR 不变但各层都变，或反之）；检查流量结构变化（CTR 提升可能吸引了不同意图的用户，其转化率天然更低）。
📖 查看英文严格数学推导 (English Mathematical Derivation)
Let total impressions be $I$. Expected clicks $C = I cdot text{CTR}$, and expected conversions $K = C cdot text{CVR} = I cdot text{CTR} cdot text{CVR}$. Taking relative lift derivatives via Taylor expansion: $frac{Delta K}{K} approx frac{Delta text{CTR}}{text{CTR}} + frac{Delta text{CVR}}{text{CVR}}$. If $frac{Delta text{CTR}}{text{CTR}} = +10%$ and $frac{Delta text{CVR}}{text{CVR}} = 0%$, then net conversions $Delta K / K = +10%$! The apparent ‘concern’ that CVR didn’t move is often a cognitive fallacy: maintaining identical conversion rate over a 10% larger, more diluted user pool represents a massive business victory.
四、工业级落地权衡与工程考量 (Industrial Trade-offs)
典型的两种结论与对策：① ‘流量结构变化’型——CTR 提升带来的是低意图流量（如更强的标题吸引点击但用户发现不匹配），此时整体 GMV 可能仍上升但 CVR 下降；对策是优化相关性而非单纯提升吸引力，或用更下游的指标（GMV、留存）做主指标。② ‘链路削弱’型——某环节体验变差（如新 UI 增加点击但详情页加载变慢），需定位并修复该环节。统计工具：分层分析（含交互项检验）、CUPED 降方差后重测、贝叶斯后验概率（P(CVR 变化 > 阈值)）、以及必要时延长观测期（转化延迟）。决策原则：不应仅凭’CVR 没动’就否定改动——若主指标是 GMV 且 GMV 上升，CVR 持平是可接受的；关键是在实验前明确主指标与护栏指标的优先级。
⚙️ 查看英文落地权衡分析 (English Systems & Trade-offs)
When CVR actually drops: Let users comprise high-intent ($H$) and marginal ($M$) cohorts. If Treatment UI makes click bait enticing, it adds $1000$ marginal clicks with $1%$ CVR while baseline high-intent clicks have $10%$ CVR. Overall CVR drops due to composition shift (Simpson’s Paradox). The definitive industrial guardrail is evaluating End-to-End Conversion Rate per Impression ($K/I$), bypassing intermediate funnel conditioning bias.
五、常见面试避坑陷阱 (Common Pitfalls & Traps)
- ⚠️ 忽略 CVR 分母被 CTR 提升污染（口径不一致）
- ⚠️ 只看整体 CVR 而不做分层，漏掉 Simpson 悖论
- ⚠️ 只看’CVR 没动’就否定改动，忽略主指标（GMV/留存）可能已改善
- ⚠️ 未检查转化延迟就下结论
English Pitfalls:
– Conditioning on post-treatment clicks (evaluating CVR only among clickers), which introduces collider stratification bias.
– Misinterpreting a flat CVR as a feature failure when top-of-funnel conversion volume expanded significantly.
六、高频深度面试追问与预测 (Follow-Up Questions)
- 如果某层样本极小怎么办？（贝叶斯收缩 / 合并层）
- Why does evaluating post-click CVR introduce collider bias in causal DAGs?
- Simpson 悖论在 A/B 中的典型表现是什么？
- How can Survival Analysis (Hazard Rates) model multi-step user purchase conversion delays?
七、知识图谱对齐 (Knowledge Graph Anchor)
- 🔗 关联底层卡片：
工业级 A/B 实验设计、分流正交、SRM 卡方排查与方差缩减(Industrial A/B Testing: Split, SRM & Variance Reduction) - 🗺️ 知识图谱模块：
数据科学与因果实验导图
🔬 算法科学家与机器学习深度考察全量题库 (Science Depth)
本题收录于 TalentMe 算法科学家深度考察真题库 (Science Depth)。全库共 856 道硬核考点，深度覆盖数学统计、经典ML、深度学习、Transformer、大语言模型、多模态、推荐系统与 MLOps。支持 Jev 面经智能匹配、一键离线单文件 HTML 手册导出并直连 Obsidian 本地记忆。