貪欲法で選ばれる文
表は、あるLLMが文の最初の2トークンを生成するときの確率である。各ステップで最も確率の高いトークンを選ぶ方法(貪欲法)で2トークンを生成した場合の説明として、正しいものを1つ選べ。なお、2トークン通しての確率は、各ステップの確率の積とする。
- A
貪欲法は「今日は」(確率0.36)を選び、2トークン通しての確率が最も高い組合せとも一致する。
- B
貪欲法は「明日は」を選び、その確率は0.5+0.4=0.90なので、2トークン通しても最も高い。
- C
貪欲法は「明日は」(確率0.20)を選び、これが2トークン通しても最も高い組合せである。
- D
貪欲法は「明日は」(確率0.20)を選び、2トークン通しての確率が最も高い「今日は」(確率0.36)とは異なる。
正解と解説を見る
正解:D
貪欲法は各ステップで最も確率の高いトークンを選ぶが、文全体の確率が最大になるとは限らない。複数の候補を残しながら探すビームサーチは、この問題を和らげる。
| ステップ | 直前のトークン | 候補(確率) |
|---|---|---|
| 1トークン目 | なし | 「明日」0.5/「今日」0.4/「昨日」0.1 |
| 2トークン目 | 「明日」 | 「は」0.4/「も」0.35/「の」0.25 |
| 2トークン目 | 「今日」 | 「は」0.9/「も」0.1 |
- A
誤り。貪欲法は1トークン目で最も高い「明日」を選ぶため、「今日」に進むことはない。
- B
誤り。通しての確率は和ではなく積で求める(0.5×0.4=0.20)。
- C
誤り。「今日は」の0.4×0.9=0.36の方が高い。各ステップで最大の候補を選んでも、通しての確率が最大になるとは限らない。
- D
正しい。1トークン目は最も高い「明日」(0.5)、2トークン目は「は」(0.4)が選ばれ、0.5×0.4=0.20になる。一方、「今日は」は0.4×0.9=0.36で、こちらの方が高い。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。