AI資格 模擬試験

生成AIパスポート 模擬試験 第5回 問13・第2章 生成AI(生成AIの生成(推論)プロセス)

貪欲法と系列全体の確率

表は、あるLLMが文の書き出しを2トークン生成するときの、各トークンの出現確率である。1トークン目の確率と、1トークン目が決まった後の2トークン目の確率を示している。各ステップで最も確率の高いトークンを選ぶ貪欲法(greedy decoding)で生成するとき、正しい記述を1つ選べ。なお、2トークン全体の確率は、各ステップの確率の積で求める。

  1. A

    貪欲法では「明日は」が出力されるが、温度を0に設定すれば確率の高い「今日は」が選ばれる。

  2. B

    貪欲法では「今日は」が出力され、その確率0.36は全候補の中で最も高い。

  3. C

    貪欲法では「明日は」が出力され、その確率0.90(0.5+0.40)は全候補の中で最も高い。

  4. D

    貪欲法では「明日は」が出力されるが、2トークン全体の確率は「今日は」(0.36)の方が高い。

正解と解説を見る

正解:D

貪欲法は各ステップで最も確率の高いトークンを選ぶが、系列全体で確率が最大になる文を選べるとは限らない。系列全体を考えて候補を残す方法に、ビームサーチがある。

1トークン目確率2トークン目(条件付き)確率
明日0.5は0.40
明日0.5も0.35
今日0.4は0.90
今日0.4も0.05
その他0.1--

学習のポイント:系列の確率は掛け算で求めること、温度0は貪欲法に近い動きになることの2点がひっかけになりやすい。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。