RLHF
ひとことで言うと
人間のフィードバックを使った強化学習。AIを実用的な受け答えに調整します。
一言でいうと：人間が「この答えのほうがいい」と評価して、AIの受け答えを整える手法です。
やさしく説明すると
RLHF（Reinforcement Learning from Human Feedback）は、AIが出した複数の答えを人間が比較して「こっちのほうが良い」と評価し、その評価をもとにAIを調整していく手法です。
学習しただけのAIは、正しくても不親切だったり、不適切な内容を出したりします。RLHFによって「人間にとって使いやすい受け答え」に整えられて、はじめて製品として世に出ます。
初心者へのひとこと
ChatGPTが登場したとき衝撃的だったのは、モデルの賢さ以上に「受け答えが自然だったこと」でした。その立役者がこの技術です。
関連する用語
- アライメント
- ファインチューニング
- ガードレール