報酬モデルを使わない調整
C社は自社向けチャットモデルを調整するため、1つの質問に対する2つの回答のうち「どちらが好ましいか」を担当者が選んだ比較データを数万件集めた。開発チームは、この比較の情報を直接使って、報酬モデルを別に学習したり強化学習を回したりせずに、好ましい回答を出しやすくしたいと考えている。この方針に最も合う手法を1つ選べ。
- A
DPO(Direct Preference Optimization)で、好ましい回答の確率が相対的に上がるようにモデルを直接更新する。
- B
好ましい側の回答だけを模範解答とみなし、通常の教師ありファインチューニングを行う。
- C
大きなモデルの出力を正解として小さなモデルに学ばせる知識蒸留を行う。
- D
RLHFで比較データから報酬モデルを作り、その報酬が高くなるよう強化学習でモデルを更新する。
正解と解説を見る
正解:A
人の好みに合わせる調整には、報酬モデルと強化学習を使うRLHFと、比較データから直接最適化するDPOなどがある。DPOは工程が少なく、学習を安定させやすい。
- A
正しい。DPOは比較データから直接モデルを最適化する手法で、報酬モデルの学習と強化学習の工程を省ける。
- B
誤り。実際に行える手法だが、好ましくない側の回答との比較の情報を使っていない。
- C
誤り。知識蒸留はモデルを小さくするための手法で、人の好みの比較データを使う手法ではない。
- D
誤り。比較データを使う点は同じだが、報酬モデルと強化学習を使うため、今回の方針に合わない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。