AI資格 模擬試験

生成AIパスポート 模擬試験 第3回 問12・第2章 生成AI(生成AIの学習プロセス)

知識蒸留

A社は、スマートフォン上で動く小型の文章要約モデルを開発している。性能の高い大規模モデルに大量の文章を要約させ、その出力(各トークンの確率分布を含む)を手本にして小型モデルを学習させる計画である。この手法の名称として、最も適切なものを1つ選べ。

  1. A

    知識蒸留(大きな教師モデルの出力を手本に、小さな生徒モデルを学習させる)

  2. B

    量子化(重みを表す数値の精度を下げて、同じモデルのサイズを小さくする)

  3. C

    枝刈り(重要度の低い重みや接続を取り除いて、モデルを軽くする)

  4. D

    転移学習(ある課題で学習したモデルを、別の課題のデータで追加学習する)

正解と解説を見る

正解:A

知識蒸留では、大規模モデル(教師)の出力を目標にして小型モデル(生徒)を学習させる。正解ラベルだけで学習させるより、多くの情報を引き継ぎやすい。

学習のポイント:「教師と生徒の2つのモデル」が出てきたら蒸留。量子化と枝刈りは1つのモデルを軽くする手法。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。