Tag: module-m5

用强模型的推理轨迹（含中间步骤）做 SFT，可显著提升小模型的推理；风险是’模仿格式而非能力’与错误继承。

多任务混合需平衡各任务的样本量与难度，避免’强任务主导’或’弱任务被淹没’；用温度采样/权重调整。

SFT 用演示教’格式与基本行为’（模仿）；RLHF/DPO 用偏好教’质量与取舍’（优化），后者需前者提供起点。

SFT 用远低于预训练的 lr（1e-5~2e-5）与极少 epoch（1~3）；小数据需更低 lr 或更强正则，否则过拟合。

chat template 定义角色标记与格式；多轮数据需构造历史并决定损失落在哪些轮，格式不一致会损害指令遵循。

用模型自己生成多个答案，按正确性/奖励筛选后做 SFT；迭代进行可自我提升，是可验证任务的标准做法。

人工质量最高但贵且慢；强模型蒸馏可扩展但有同质化与合规风险；开源便利但质量参差；合成+验证对可验证任务最优。