与前代模型GPT-3相比，ChatGPT将基于人类反馈的强化学习（RLHF）纳入到训练过程之中。通过让模型一次生成多个答案，由人类按照有用程度进行排名，然后设定奖励机制并训练奖励模型，为每个问题及答案组合进行打分，进一步对模型进行有监督微调，使其输出更好地贴近用户提问的意图。