パープレキシティ
言語モデルの性能を表す指標であるパープレキシティ（perplexity）について、最も適切なものを1つ選べ。
- A
値が小さいほど、次の単語をうまく予測できており、性能が高い
- B
値が大きいほど性能が高い
- C
値が0以上1以下に必ず収まる
- D
画像分類の精度を表す指標である
正解と解説を見る
正解：A
パープレキシティは、言語モデルが次の単語をどれだけうまく予測できるかの指標で、小さいほど良い。交差エントロピーの指数にあたる。
| 指標 | 何を測るか | 良いのは |
|---|---|---|
| BLEU | 翻訳文と参照訳のn-gramの一致（適合率ベース） | 大きいほど |
| ROUGE | 要約と参照要約の重なり（再現率ベース） | 大きいほど |
| 単語誤り率（WER） | (置換+削除+挿入) ÷ 参照の単語数（例：(1+1+0)÷5 = 0.4） | 小さいほど |
| パープレキシティ | 次の語の予測のしにくさ（交差エントロピーの指数） | 小さいほど |
- A
正しい。平均的に、次の単語の候補がいくつに絞れているかを表す。
- B
誤り。逆で、小さいほど高性能。
- C
誤り。1以上の値を取る。
- D
誤り。言語モデルの指標。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。