top-kでの確率の再計算
A社の開発担当者が、文章生成APIのサンプリング設定を調べている。表は、ある時点で次のトークンとして出力される候補と、モデルが計算した確率である。top-k=2を設定し、残った候補の確率を合計が1になるように計算し直してから1つを選ぶとき、トークン「B」が選ばれる確率として最も適切なものを1つ選べ。温度は1.0とし、top-pは使わないものとする。
- A
0.300
- B
0.600
- C
0.500
- D
0.375
正解と解説を見る
正解:D
top-kは確率が高い上位k個の候補だけを残し、その中で確率の合計が1になるように計算し直してから選ぶ。累積確率で候補を絞るtop-pとは、絞り方が違う。
| 候補トークン | 確率 |
|---|---|
| A | 0.50 |
| B | 0.30 |
| C | 0.15 |
| D | 0.05 |
- A
誤り。候補を絞った後に確率を計算し直す手順が抜けている。残った候補の確率の合計を1に戻す必要がある。
- B
誤り。0.30を0.50(Aの確率)で割っている。割る数は、残った候補の確率の合計の0.80である。
- C
誤り。残った2つを同じ確率として扱っている。計算し直した後も、元の確率の比(5:3)はそのまま残る。
- D
正しい。top-k=2では、確率が高い上位2つのAとBが残る。合計0.80で割り直すと、Bは0.30÷0.80=0.375になる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。