効率的なファインチューニング
C社は、公開されている大規模言語モデルを自社の契約書チェック用に調整したい。そこで、元のモデルの重みは固定し、低ランク行列などの少数の追加パラメータだけを学習する手法(LoRAなど)を検討している。この手法の利点として、最も適切なものを1つ選べ。
- A
全パラメータを更新するより学習に必要なGPUメモリと保存容量を抑えられ、用途ごとの小さな差分を切り替えて使える。
- B
事前学習をやり直さなくても、学習データの期限より後の最新情報を、質問のたびにリアルタイムで回答に反映できる。
- C
推論時のモデル全体のパラメータ数が元の数分の一になり、蒸留で小型化したのと同じように応答が速くなる。
- D
学習用のデータを用意しなくても、プロンプトに書いた指示だけで追加パラメータが自動的に調整される。
正解と解説を見る
正解:A
LoRAなどのパラメータ効率の良いファインチューニング(PEFT)は、元のモデルを固定し、小さな追加部分だけを学習する。少ない計算資源で、用途ごとの調整ができる。
- A
正しい。更新するパラメータが少ないので、学習コストが下がる。追加部分だけを保存すれば、用途ごとに付け替えられる。
- B
誤り。これは外部の情報を検索して使うRAGなどの説明。LoRAも学習の一種で、学習した時点のデータまでしか反映されない。
- C
誤り。元の重みに少数のパラメータを加えるだけなので、全体のサイズはほとんど変わらない。小型化は蒸留や量子化の目的である。
- D
誤り。LoRAでも学習データを使って学習する。プロンプトだけで振る舞いを変えるのはプロンプトエンジニアリングで、重みは変わらない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。