Tag: alignment-rlhf

需同时维护 4 个模型（显存大）；训练不稳定（奖励崩塌、KL 爆炸、长度漂移）；超参敏感且难调。

KL 约束策略不偏离参考模型；β 太小导致奖励黑客与语言退化，太大导致学不到新行为；常用 0.01~0.1 或自适应。