LoRAによる軽量な追加学習
A社は、公開されている言語モデルを自社の文書の文体に合わせたいが、GPUの台数が限られている。担当者は、元のモデルのパラメータ全体を更新しない手法として、LoRA(Low-Rank Adaptation)を提案した。LoRAの説明として、最も適切なものを1つ選べ。
- A
元の重みをすべて更新するが、学習データを要約して量を減らすので、必要な計算資源を抑えられる。
- B
元の重みは固定したまま、追加した小さな低ランク行列だけを学習するので、必要な計算資源を抑えられる。
- C
追加の学習は行わず、質問ごとに社内文書を検索して、関連部分をプロンプトに加える手法である。
- D
重みを4ビットなどの低い精度の数値に変換し、推論時のメモリ使用量を減らす手法である。
正解と解説を見る
正解:B
LoRAはパラメータ効率的ファインチューニング(PEFT)の代表的な手法。元の重みを固定し、差分を表す小さな行列だけを学習するので、少ない計算資源でモデルを調整できる。
- A
誤り。重みをすべて更新するのはフルファインチューニング。LoRAは元の重みを固定する。
- B
正しい。学習するパラメータが少ないので、メモリと計算量を大きく減らせる。
- C
誤り。これはRAGの説明。LoRAはモデルを追加学習する手法である。
- D
誤り。これは量子化の説明。量子化とLoRAを組み合わせる手法もあるが、別の技術である。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。