貪欲法と系列全体の確率
表は、あるLLMが文の書き出しを2トークン生成するときの、各トークンの出現確率である。1トークン目の確率と、1トークン目が決まった後の2トークン目の確率を示している。各ステップで最も確率の高いトークンを選ぶ貪欲法(greedy decoding)で生成するとき、正しい記述を1つ選べ。なお、2トークン全体の確率は、各ステップの確率の積で求める。
- A
貪欲法では「明日は」が出力されるが、温度を0に設定すれば確率の高い「今日は」が選ばれる。
- B
貪欲法では「今日は」が出力され、その確率0.36は全候補の中で最も高い。
- C
貪欲法では「明日は」が出力され、その確率0.90(0.5+0.40)は全候補の中で最も高い。
- D
貪欲法では「明日は」が出力されるが、2トークン全体の確率は「今日は」(0.36)の方が高い。
正解と解説を見る
正解:D
貪欲法は各ステップで最も確率の高いトークンを選ぶが、系列全体で確率が最大になる文を選べるとは限らない。系列全体を考えて候補を残す方法に、ビームサーチがある。
| 1トークン目 | 確率 | 2トークン目(条件付き) | 確率 |
|---|---|---|---|
| 明日 | 0.5 | は | 0.40 |
| 明日 | 0.5 | も | 0.35 |
| 今日 | 0.4 | は | 0.90 |
| 今日 | 0.4 | も | 0.05 |
| その他 | 0.1 | - | - |
- A
誤り。温度0は、各ステップで最大確率のトークンを選ぶことにほぼ等しく、貪欲法と同じく「明日は」になる。
- B
誤り。貪欲法は各ステップで最大のものを選ぶので、1トークン目には確率0.5の「明日」が選ばれ、「今日は」は出力されない。
- C
誤り。系列全体の確率は、足し算ではなく掛け算で求める。「明日は」の確率は0.20である。
- D
正しい。1トークン目は確率最大の「明日」(0.5)、2トークン目は「は」(0.40)が選ばれ、全体の確率は0.5×0.40=0.20になる。一方、「今日は」は0.4×0.90=0.36で、こちらの方が高い。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。