交差エントロピーと対数尤度
分類モデルの学習で、交差エントロピー誤差を最小化することと、数理的には何を最大化することが同じ意味になるか。最も適切なものを1つ選べ。
- A
パラメータの大きさ（ノルム）
- B
学習データの個数
- C
学習率
- D
正解のラベルに対する、モデルの予測確率の対数尤度
正解と解説を見る
正解：D
交差エントロピー誤差は、負の対数尤度。交差エントロピー誤差を最小にすることは、データに対する対数尤度を最大にする（最尤推定）ことと同じ。
| データ | 正解ラベルの予測確率 p | 誤差 −log p | 対数尤度 log p |
|---|---|---|---|
| 1 | 0.9 | 0.11 | -0.11 |
| 2 | 0.6 | 0.51 | -0.51 |
| 3 | 0.2 | 1.61 | -1.61 |
| 合計 | 2.23（最小にする） | -2.23（最大にする） |
- A
誤り。正則化で小さくする対象。
- B
誤り。データの個数は、最大化の対象ではない。
- C
誤り。ハイパーパラメータ。
- D
正しい。負の対数尤度の最小化が、交差エントロピー誤差の最小化にあたる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。