Tag: online-metrics-guardrails
-
【AI 核心深度 M7-093】解释推荐/搜索的核心在线指标（Explain the Taxonomy and Measurement of Core Online Business Metrics in Search and Recommendation）深度数理推导与工程落地解析
参与度（CTR/时长/会话深度）、转化（CVR/GMV）、留存（次日/次周）、生态（多样性/创作者）；分层报告。
-
【AI 核心深度 M7-094】解释为什么需要护栏指标（Guardrail Metrics）（Explain the Purpose, Categories, and Veto Mechanisms of Guardrail Metrics in Production Systems）深度数理推导与工程落地解析
护栏指标是’必须不恶化’的指标（一票否决）；防止短期优化损害长期（用户体验/生态/安全）。
-
【AI 核心深度 M7-095】解释搜索/推荐中的位置偏置对在线指标的影响（Explain the Impact of Position Bias on Online Experimentation and Metric Confounding）深度数理推导与工程落地解析
位置偏置使’排名提升’自动带来’指标提升’（与相关性无关）；故 A/B 中需注意’位置变化’的混淆。
-
【AI 核心深度 M7-096】解释网络效应与干扰（Interference）对实验的影响（Explain Network Interference, Marketplace Cannibalization, and SUTVA Violations in Online Experimentation）深度数理推导与工程落地解析
用户间/物品间相互影响（社交、供需、竞争）破坏 SUTVA；需集群随机化、switchback、或预算分割。
-
【AI 核心深度 M7-097】解释长期效应评估的方法（Explain Methodologies for Measuring Long-Term Algorithmic Effects in Digital Platforms）深度数理推导与工程落地解析
长期效应需长周期实验（holdout 组）、代理指标（需验证）、或切换实验；短期 A/B 无法捕捉。
-
【AI 核心深度 M7-098】解释实验平台的能力要求（Explain the Architectural and Algorithmic Requirements of an Enterprise Experimentation Platform）深度数理推导与工程落地解析
需支持：流量分配（分层/互斥）、指标计算（实时/离线）、方差降低（CUPED）、多重比较校正、以及’实验管理’。
-
【AI 核心深度 M7-099】解释 A/B 实验的样本量计算与最小可检测效应（MDE）（Explain Sample Size Determination, Statistical Power, and Minimum Detectable Effect (MDE) in A/B Testing）深度数理推导与工程落地解析
样本量 ∝ 方差 / MDE²；MDE 是’能检出的最小效应’，需与业务意义平衡（太小则样本量爆炸）。
-
【AI 核心深度 M7-100】解释多重比较与序贯检验（FDR / Alpha Spending）（Explain Multiple Testing Corrections (FDR, Bonferroni) and Sequential Testing (Alpha Spending) in A/B Experiments）深度数理推导与工程落地解析
多指标/多次看数据会推高假阳性率；用 FDR/Bonferroni 校正多重比较，用 alpha spending 处理序贯检验。
-
【AI 核心深度 M7-101】解释分层实验与互斥域（Layer / Domain）（Explain Layered Experimentation Frameworks and Mutually Exclusive Domains in Scaled A/B Testing）深度数理推导与工程落地解析
分层（layer）把流量分成独立层，不同层可同时跑实验（提高密度）；互斥域（domain）让相互干扰的实验互斥。
-
【AI 核心深度 M7-102】解释新颖效应（Novelty Effect）与首因效应（Explain the Novelty Effect versus the Primacy Effect in User Behavior and Experiment Interpretation）深度数理推导与工程落地解析
新颖效应：用户对新事物的好奇使短期指标虚高（长期回归）；首因效应：对变化的抵触使短期下降（长期回升）。