Tag: research-experiment-design-ablations

每次只移除或替换一个组件、保持其余与预算完全一致，报告多次运行的均值与方差，并对关键结论做显著性检验，避免把多个变化混在一起。

baseline 应包含经典方法、当前 SOTA 与同预算的强工程实现；弱 baseline 会让增益虚高，只有与强 baseline 公平比较才能证明贡献。

用配对检验、置信区间与多次种子报告均值±标准差，同时报告效应量（相对/绝对提升）与 p 值，避免只看 p 值而忽略实际意义。

方差来自随机初始化、数据划分、批顺序与硬件非确定性；用多个随机种子、固定划分、报告方差、以及配对比较来降噪并给出可信结论。

给所有方法相同预算的调参、只在验证集上调参、使用相同搜索空间与协议，或采用无偏的随机搜索，并明确报告各方法的调参预算。

先确定最小可检测效应、显著性水平与目标功效，再反推所需的样本量或随机种子数，避免功效不足导致假阴性或过度实验浪费资源。

固定数据划分与预处理、给所有方法相同的训练预算与调参搜索空间、使用相同评估脚本、跑多个随机种子，并在实验前预注册假设以避免选择性报告。