AI資格 模擬試験

G検定 模擬試験 第4回 問85・ディープラーニングの応用例（深層強化学習）

PPO

強化学習の手法PPO（Proximal Policy Optimization）の特徴として、最も適切なものを1つ選べ。

  1. A

    環境のモデルを事前に完全に与える必要がある

  2. B

    価値を表にして全状態の値を保存する

  3. C

    方策の更新幅を制限して、1回の更新で方策が大きく変わりすぎないようにする

  4. D

    教師データとの誤差で分類器を学習する

正解と解説を見る

正解：C

PPOは方策勾配法の一種で、方策の更新幅をクリッピングなどで制限して、学習を安定させる。大規模言語モデルのRLHFでも使われる。

学習のポイント：方策勾配法→Actor-Critic→PPOの流れで整理する。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。