Tag: offline-evaluation-ope

用因果图（DAG）表达’混淆、动作、奖励’的关系；OPE 的目标是估计’干预（do）’的效果，需切断混淆路径。

序列决策中动作影响后续状态（长期效应）；多步 IPS 用’轨迹级’权重，方差随长度指数增长。

OPE 估计有方差，需报告置信区间（bootstrap/解析）；有效样本量（ESS）比原始样本量更关键。

标准流程：明确目标与假设 → 收集数据（含随机化）→ 训练倾向/模型 → 估计 + CI → 与历史 A/B 验证 → 离线粗筛 → A/B 定胜负。

历史数据由’旧策略’产生（有偏），故’新策略在历史数据上的表现’不等于’新策略上线后的表现’。

IPS 用’1/倾向’加权历史奖励，得到无偏估计；但倾向很小时权重爆炸 → 方差极大（需截断/自归一化）。

DR = 直接方法（模型预测）+ IPS 修正；模型或倾向之一正确即可无偏（双重稳健），且方差通常更低。

权重截断把 w 限制在 [0,M]（降方差、引入偏差）；自归一化用 Σw 归一（有界、对缩放不敏感）。

OPE/离线指标需与’在线 A/B 结果’相关才有意义；用历史 A/B 数据验证相关性（相关系数、排序一致性）。

OPE 需三大假设（无混淆/正性/SUTVA）；常见失败：正性违反（新策略选新物品）、混淆、干扰、非平稳。