Tag: module-m5

从’带 KL 约束的奖励最大化’的闭式最优策略出发，反解出奖励的表达式，代入偏好似然，消去奖励得 DPO 损失。

PPO 需 RM+Critic+在线采样；DPO 只需偏好对与参考模型；GRPO 去 Critic、用组内基线、需可验证奖励。

ORPO 把 SFT 与偏好优化合并（无需参考模型）；KTO 用’好/坏’二值标签（无需配对），数据门槛更低。

SimPO 去掉参考模型（用长度归一化的平均 log-prob 作为隐式奖励）并加目标奖励间隔 γ，更简单且抗长度偏置。

数据分布外无效（假设数据来自参考策略）、易过拟合（似然下降）、长度偏置、对噪声敏感、无法在线探索。

偏好对需同一 prompt 的多个回答 + 人工/AI 比较；质量受标注一致性、长度偏差、AI 偏见影响，需去噪与平衡。

IPO 用’平方损失 + 目标间隔’替代 DPO 的 sigmoid，缓解’过度优化偏好对’与似然位移问题。

cDPO 对标签做平滑（假设标注有 ε 概率出错）；RPO 加 log-ratio 惩罚项防过度优化；都针对 DPO 的过拟合与噪声敏感。

DPO 训练得到的策略定义了隐式奖励 r=β·log(π_θ/π_ref)；可用于 best-of-N 重排、评估与数据分析。