AI資格 模擬試験

生成AIパスポート 模擬試験 第3回 問10・第2章 生成AI(生成AIの学習プロセス)

LoRAによる軽量な追加学習

A社は、公開されている言語モデルを自社の文書の文体に合わせたいが、GPUの台数が限られている。担当者は、元のモデルのパラメータ全体を更新しない手法として、LoRA(Low-Rank Adaptation)を提案した。LoRAの説明として、最も適切なものを1つ選べ。

  1. A

    元の重みをすべて更新するが、学習データを要約して量を減らすので、必要な計算資源を抑えられる。

  2. B

    元の重みは固定したまま、追加した小さな低ランク行列だけを学習するので、必要な計算資源を抑えられる。

  3. C

    追加の学習は行わず、質問ごとに社内文書を検索して、関連部分をプロンプトに加える手法である。

  4. D

    重みを4ビットなどの低い精度の数値に変換し、推論時のメモリ使用量を減らす手法である。

正解と解説を見る

正解:B

LoRAはパラメータ効率的ファインチューニング(PEFT)の代表的な手法。元の重みを固定し、差分を表す小さな行列だけを学習するので、少ない計算資源でモデルを調整できる。

学習のポイント:LoRAは「学習する量を減らす」、量子化は「数値の精度を下げる」、RAGは「学習せずに検索結果を渡す」と区別する。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。