Tag: dpo-family-dpo-kto-orpo

用当前策略生成回答、标注偏好、再做 DPO；满足’数据来自当前策略’的假设并恢复在线探索能力。

log π(y) 是逐 token 求和，长回答天然 log-prob 更低，DPO 倾向更长输出；用长度归一化/惩罚/数据平衡修正。

在 DPO 损失中混入一定比例的 SFT 损失（对好回答的 NLL），可防止似然位移、保持生成质量与语言能力。

从’带 KL 约束的奖励最大化’的闭式最优策略出发，反解出奖励的表达式，代入偏好似然，消去奖励得 DPO 损失。

PPO 需 RM+Critic+在线采样；DPO 只需偏好对与参考模型；GRPO 去 Critic、用组内基线、需可验证奖励。

ORPO 把 SFT 与偏好优化合并（无需参考模型）；KTO 用’好/坏’二值标签（无需配对），数据门槛更低。

SimPO 去掉参考模型（用长度归一化的平均 log-prob 作为隐式奖励）并加目标奖励间隔 γ，更简单且抗长度偏置。

数据分布外无效（假设数据来自参考策略）、易过拟合（似然下降）、长度偏置、对噪声敏感、无法在线探索。

偏好对需同一 prompt 的多个回答 + 人工/AI 比较；质量受标注一致性、长度偏差、AI 偏见影响，需去噪与平衡。

IPO 用’平方损失 + 目标间隔’替代 DPO 的 sigmoid，缓解’过度优化偏好对’与似然位移问题。