技术定义
从人类评价或偏好学习奖励信号，再用强化学习调整模型行为的方法。
2017年的偏好学习研究通过人类比较学习奖励。2022年的语言模型研究结合监督示范、偏好排序、奖励模型与强化学习，提高指令跟随表现。
RLHF是后训练路线之一，不能把所有偏好优化或所有指令微调都称为RLHF。人类偏好与事实正确、长期效用或安全目标也不总是一致。
原理与影响
解决的问题
- 为难以直接编写奖励函数的任务引入人类判断。
核心原理
- 学习偏好对应的奖励模型，再依据该信号优化行为。
相对前代的改进
暂无记录
技术意义
- 将人的评价纳入模型目标调整过程。
历史与应用
人物
Paul F. Christiano、Long Ouyang
组织
暂无记录
事件
暂无记录
典型应用
行为偏好学习、语言模型后训练
留下的局限
- 奖励模型误差、偏好偏差和对奖励的过度优化可能带来偏离。
上下游关系
上游
下游
证据：Training Language Models to Follow Instructions with Human Feedback