Tag: dpo-family-dpo-kto-orpo

cDPO 对标签做平滑（假设标注有 ε 概率出错）；RPO 加 log-ratio 惩罚项防过度优化；都针对 DPO 的过拟合与噪声敏感。

DPO 训练得到的策略定义了隐式奖励 r=β·log(π_θ/π_ref)；可用于 best-of-N 重排、评估与数据分析。