情報エントロピー

正解：C

等確率のコイン投げの情報エントロピーは1ビット。

コインの表の確率 p とエントロピー。p = 0.5（どちらも同じ確率）のとき最大の1ビット。

• A

  誤り。0ビットになるのは、結果が必ず決まっている（不確かさがない）場合。

• B

  誤り。−(1/2 × log₂(1/2) + 1/2 × log₂(1/2)) を計算すると 0.5 にはならない。

• C

  正しい。−(1/2 × (−1) + 1/2 × (−1)) = 1。2つの結果が同じ確率のとき、不確かさが最も大きくなる。

• D

  誤り。2ビットになるのは、4つの結果が同じ確率で起こる場合。

学習のポイント：エントロピー・交差エントロピー・KLダイバージェンスの関係を押さえる。