Tag: alignment_rl

强化学习与推荐系统探索/利用（Exploration vs Exploitation）核心算法，置信区间上界打分。

测量两个概率分布的距离，大模型对齐防止策略跑偏的核心约束惩罚项。

通过指数加权移动平均在单步 TD 误差（低方差高偏差）与全蒙特卡洛回报（零偏差高方差）之间达成最优权衡。

DeepSeekMath / DeepSeek-R1 核心基石，彻底砍掉同等规模的 Critic 价值网络，组内自归一化节省 50% 显存。

OpenAI 强化学习基石，通过重要性采样概率比与 [1-eps, 1+eps] 截断防止策略单步更新步子迈太大崩盘。

斯坦福团队里程碑，彻底抛弃独立 Reward Model 与 PPO 采样，显式解析求解直接在策略网络上微调偏好。

InstructGPT / RLHF 奖励模型的核心训练目标，Chosen 胜过 Rejected 标量分差的 Sigmoid 交叉熵。