AI資格 模擬試験

G検定 模擬試験 第6回 問83・ディープラーニングの応用例（自然言語処理）

DPO

人間が「好ましい」と選んだ回答と、「好ましくない」回答のペアのデータから、報酬モデルを別に作らず、強化学習も使わずに、言語モデルを直接調整する手法として、最も適切なものを1つ選べ。

  1. A

    DPO（Direct Preference Optimization）

  2. B

    RLHF

  3. C

    ドロップアウト

  4. D

    Mixup

正解と解説を見る

正解：A

DPOは、好ましい回答と好ましくない回答のペアから、損失関数で直接、言語モデルを最適化する。RLHFの、報酬モデルと強化学習のステップを省ける。

大量の文章による事前学習、指示チューニング、人の評価による調整と進む学習の流れと、推論時のプロンプトの工夫を示した図。

大規模言語モデルの作り方：事前学習→指示チューニング→人の評価による調整（RLHF・DPOなど）。使うときはプロンプトの工夫（例示・段階的な思考）で引き出す。

学習のポイント：アライメントの手法の1つ。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。