知識の蒸留
大きく高性能な教師モデルの出力を手本にして、小さな生徒モデルを学習させ、軽くても精度の高いモデルを作る手法として、最も適切なものを1つ選べ。
- A
プルーニング（枝刈り）
- B
量子化
- C
蒸留
- D
ドロップアウト
正解と解説を見る
正解：C
蒸留は教師モデルの出力を手本に生徒モデルを学習させる軽量化の手法。
| 方法 | やること | 主な効果 |
|---|---|---|
| 知識蒸留 | 大きな教師モデルの出力を小さな生徒モデルに学ばせる | 小さくても精度を保つ |
| 量子化 | 重みを32ビットから8ビットなど少ないビットで表す | メモリ・計算を減らす |
| プルーニング | 重要でない重みや結合を削る | パラメータを減らす |
- A
誤り。プルーニングは、重要度の低い重みやニューロンを削除してモデルを小さくする手法。
- B
誤り。量子化は、重みなどを少ないビット数で表してモデルを軽くする手法。
- C
正しい。教師モデルが出す確率分布（ソフトターゲット）には、正解ラベルだけではわからないクラス間の関係が含まれ、生徒モデルはそれを学べる。
- D
誤り。ドロップアウトは過学習を抑える手法で、モデルを軽くするためのものではない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。