大モデルの出力で小モデル学習
E社は、スマートフォン上で動く小型の言語モデルを作りたい。そこで、高性能な大型モデルにたくさんの質問に答えさせ、その回答や出力の確率分布を教材にして小型モデルを学習させる計画を立てた。この手法として、最も適切なものを1つ選べ。
- A
RLHF
- B
量子化
- C
RAG
- D
知識蒸留
正解と解説を見る
正解:D
知識蒸留は、大型モデル(教師)の出力を教材として小型モデル(生徒)を学習させる。エッジ端末で動かすモデルや、安くて速いモデルを作るときに使われる。
- A
誤り。人が回答を比べた評価をもとに、出力を人の好みに合わせる手法である。モデルを小さくする目的のものではない。
- B
誤り。量子化も軽量化の手法だが、同じモデルの重みを少ないビット数で表すものである。別のモデルの出力から学習するわけではない。
- C
誤り。外部の文書を検索して入力に加える仕組みであり、モデル自体は学習しない。
- D
正しい。大型モデル(教師)の出力をまねるように小型モデル(生徒)を学習させ、性能をなるべく保ったまま小さくする手法である。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。