知識蒸留
A社は、スマートフォン上で動く小型の文章要約モデルを開発している。性能の高い大規模モデルに大量の文章を要約させ、その出力(各トークンの確率分布を含む)を手本にして小型モデルを学習させる計画である。この手法の名称として、最も適切なものを1つ選べ。
- A
知識蒸留(大きな教師モデルの出力を手本に、小さな生徒モデルを学習させる)
- B
量子化(重みを表す数値の精度を下げて、同じモデルのサイズを小さくする)
- C
枝刈り(重要度の低い重みや接続を取り除いて、モデルを軽くする)
- D
転移学習(ある課題で学習したモデルを、別の課題のデータで追加学習する)
正解と解説を見る
正解:A
知識蒸留では、大規模モデル(教師)の出力を目標にして小型モデル(生徒)を学習させる。正解ラベルだけで学習させるより、多くの情報を引き継ぎやすい。
- A
正しい。教師モデルの出力を学習の目標にして、小さなモデルに能力を引き継がせる手法である。
- B
誤り。量子化は同じモデルの数値の表し方を変えるだけで、別のモデルを学習させるわけではない。
- C
誤り。枝刈りは既存のモデルから一部を削る手法で、他のモデルの出力を手本にはしない。
- D
誤り。転移学習は同じモデルを別の課題に使い回す手法で、教師モデルと生徒モデルを使い分けない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。