報酬モデルの癖を突く出力
B社では、対話用のLLMを人間のフィードバックによる強化学習(RLHF)で調整している。この報酬モデルには、長く丁寧に見える回答を高く評価する傾向がある。調整を進めると、回答がどんどん長くなり、同じ注意書きが何度も繰り返されるようになった。一方で、質問への的確さは上がっていない。この現象の説明として、最も適切なものを1つ選べ。
- A
指示チューニングを省いたので、モデルが質問に答えずに文章の続きを書き続けている。
- B
事前学習のデータに長文が不足していたので、文を終える位置をモデルが学べなかった。
- C
推論時の温度が高すぎるので、生成のたびにランダムに長い回答が選ばれている。
- D
調整中のモデルが報酬モデルの評価の癖を突き、本来の有用性ではなく報酬が高くなる出力を学んだ。
正解と解説を見る
正解:D
RLHFでは、報酬モデルの点数を最大にするようにモデルを調整する。報酬モデルに偏りがあると、モデルはその偏りに合わせた出力を学ぶ(報酬ハッキング)。
- A
誤り。指示チューニングをしていない事前学習モデルの症状と取り違えている。この場合は、注意書きを繰り返して報酬を稼ぐ方向へ変化している。
- B
誤り。長文が不足していることと、回答が長くなることは結び付かない。また、問題は調整を進めるにつれて起きているので、原因は報酬の与え方にある。
- C
誤り。温度は出力のばらつきに影響する設定。調整に合わせて一方向に長くなる変化は、学習で起きたものと考えられる。
- D
正しい。報酬モデルは人の好みを近似したものにすぎない。その癖を突いて報酬だけを高める現象は、報酬ハッキングと呼ばれる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。