top-pサンプリングの候補
表は、あるLLMが「明日の天気は」に続く次のトークンを予測したときの確率である。top-pサンプリングでは、確率の高い順にトークンを並べ、累積確率がp以上になる最小の集合を候補とし、その中から確率に応じて1つを選ぶ。p=0.8のとき、候補に残るトークンの数として、最も適切なものを1つ選べ。
- A
1つ
- B
2つ
- C
3つ
- D
4つ
正解と解説を見る
正解:C
top-pは、累積確率で候補の範囲を決める。予測が1つのトークンに集中しているときは候補が少なく、ばらついているときは多くなる。
| 順位 | トークン | 確率 |
|---|---|---|
| 1 | 晴れ | 0.45 |
| 2 | 曇り | 0.25 |
| 3 | 雨 | 0.15 |
| 4 | 雪 | 0.10 |
| 5 | 嵐 | 0.05 |
- A
誤り。最も確率の高いトークンだけを選ぶのは、貪欲法(top-kでk=1)の場合である。
- B
誤り。2つまでの累積確率は0.45+0.25=0.70で、0.8に届かない。
- C
正しい。3つまでの累積確率は0.70+0.15=0.85で、初めて0.8以上になる。
- D
誤り。累積確率は3つで0.8以上になるので、4つ目の「雪」は候補に含まれない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。