Tag: a-b
-
【AI 核心深度 M1-087】解释如何评估实验的长期效应(超越短期指标)。(Explain Methodologies for Measuring Long-Term Treatment Effects Beyond Short-Term Metrics)深度数理推导与工程落地解析
用长期 holdout、反向实验、DID/合成控制或指标代理;短期与长期效应常不一致。
-
【AI 核心深度 M1-083】解释分层随机化与它何时必要。(Explain Stratified Randomization in Experimental Design and When It Is Strictly Required)深度数理推导与工程落地解析
在已知的重要协变量层内独立随机化,保证各层内处理/对照平衡;小样本或强预测协变量时必要。
-
【AI 核心深度 M1-084】解释 switchback 实验与它的适用场景。(Explain Switchback Experiments and Their Applications in Marketplace and Two-Sided Delivery Platforms)深度数理推导与工程落地解析
在时间维度上交替切换处理/对照,适用于无法在个体层面随机化的场景(如定价、算法全量)。
-
【AI 核心深度 M1-085】解释网络效应/干扰下为什么个体随机化会失效,以及如何应对。(Explain Why Individual Randomization Fails Under Network Spillover/Interference and How Cluster Randomization Solves It)深度数理推导与工程落地解析
个体处理会影响他人(溢出),违反 SUTVA;用集群随机化、switchback 或专门的干扰感知设计。
-
【AI 核心深度 M1-086】解释触发器分析(Trigger Analysis)与它在实验中的应用。(Explain Trigger Analysis in Online Experiments and How It Enhances Statistical Power)深度数理推导与工程落地解析
只分析’实际受处理影响’的子群(被触发器激活的用户),提升功效并聚焦机制。
-
【AI 核心深度 M1-051】描述一个标准 A/B 实验的完整流程。(Describe the End-to-End Operational Lifecycle of a Standard Industrial A/B Experiment)深度数理推导与工程落地解析
定假设与指标 → 功效分析与样本量 → 随机分流 → 运行固定时长 → 校验分流 → 统计检验 → 决策与复盘。
-
【AI 核心深度 M1-053】解释样本比例失配(SRM),如何检测与排查。(Define Sample Ratio Mismatch (SRM), How to Detect It via Chi-Square, and Root Cause Diagnostics)深度数理推导与工程落地解析
实际分组比例显著偏离预期;用卡方检验检测,通常说明分流/埋点/过滤有 bug。
-
【AI 核心深度 M1-055】CTR 上升但 CVR 没动,如何用统计方法分析原因。(Analyze the Statistical Diagnostics When CTR Increases but CVR Remains Flat in an Online Experiment)深度数理推导与工程落地解析
先做指标一致性检查(分流/口径/延迟),再用分层与中介分析判断是’流量结构变化’还是’转化链路被削弱’。