top-pで残る候補
表は、LLMがある時点で予測した次のトークンの候補と、その確率である。top-p=0.8でサンプリングするとき、抽選の対象として残る候補(「その他」を除く)の数として、最も適切なものを1つ選べ。なお、top-pは、確率の高い順に候補の確率を足していき、累積確率が初めて0.8以上になるまでの候補を残す方式とする。
- A
1つ
- B
2つ
- C
3つ
- D
4つ
正解と解説を見る
正解:C
top-p(核サンプリング)は、累積確率がpに達するまでの上位候補だけを残し、その中から確率に応じて抽選する。分布が平らなときは候補が多く、偏っているときは少なくなる。
| 候補トークン | 確率 |
|---|---|
| です | 0.45 |
| でした | 0.25 |
| ですね | 0.15 |
| だ | 0.10 |
| その他 | 0.05 |
- A
誤り。確率が最も高い候補だけを選ぶ貪欲法(またはtop-k=1)と混同している。
- B
誤り。0.45+0.25=0.70で、まだ0.8に届いていない。0.8を超えない範囲で止めるのは、方式の取り違えである。
- C
正しい。累積確率は0.45→0.70→0.85となり、3つ目の「ですね」で初めて0.8以上になる。残るのは「です」「でした」「ですね」の3つ。
- D
誤り。0.8に達したあとの「だ」まで含めている。「だ」を足すと0.95になり、条件より1つ多い。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。