Tag: alignment-rlhf

RM 只在偏好数据分布上可靠；策略越优化越会进入 RM 的分布外区域，导致奖励升而真实质量降（Goodhart）。

PPO 需 on-policy 采样（当前策略生成）保证重要性采样正确；RM 训练常用 off-policy 数据；迭代式 RLHF 混合两者。

动作是 token 但奖励是序列级；实现上 ratio 与 KL 按 token 算、优势广播到 token；只对回答 token 算损失。

单轮 RLHF 会因 RM 过优化而退化；迭代式定期用新策略输出重新标注、更新 RM，缩小分布外区域。

CAI 用’宪法’（原则清单）让模型自我批评与修订，再由 AI 依宪法标注偏好；RLAIF 用 AI 反馈替代人工。

① SFT 得到初始策略；② 用人类偏好比较训练奖励模型；③ 用 PPO 在奖励模型上优化策略（带 KL 约束）。

BT 模型假设 P(y_w≻y_l)=σ(r(y_w)−r(y_l))；用该似然训练奖励模型，即 pairwiselogistic 损失。

目标为 min(ratio·A, clip(ratio,1−ε,1+ε)·A)；clip 限制单步策略变化，min 取保守下界，保证不过度更新。

GAE 用 TD 残差的指数加权和估计优势，平衡偏差与方差；优势函数决定’该动作比平均好多少’。

策略钻奖励模型的空子（如冗长、谄媚、格式取巧），奖励升而真实质量降；用 KL 约束、集成、迭代更新、规则过滤缓解。