AI資格 模擬試験

生成AIパスポート 模擬試験 第6回 問11・第2章 生成AI(生成AIの学習プロセス)

報酬モデルを使わない調整

C社は自社向けチャットモデルを調整するため、1つの質問に対する2つの回答のうち「どちらが好ましいか」を担当者が選んだ比較データを数万件集めた。開発チームは、この比較の情報を直接使って、報酬モデルを別に学習したり強化学習を回したりせずに、好ましい回答を出しやすくしたいと考えている。この方針に最も合う手法を1つ選べ。

  1. A

    DPO(Direct Preference Optimization)で、好ましい回答の確率が相対的に上がるようにモデルを直接更新する。

  2. B

    好ましい側の回答だけを模範解答とみなし、通常の教師ありファインチューニングを行う。

  3. C

    大きなモデルの出力を正解として小さなモデルに学ばせる知識蒸留を行う。

  4. D

    RLHFで比較データから報酬モデルを作り、その報酬が高くなるよう強化学習でモデルを更新する。

正解と解説を見る

正解:A

人の好みに合わせる調整には、報酬モデルと強化学習を使うRLHFと、比較データから直接最適化するDPOなどがある。DPOは工程が少なく、学習を安定させやすい。

学習のポイント:比較データを使う点はどちらも同じ。報酬モデルと強化学習を使うかどうかで、RLHFとDPOを見分ける。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。