AI資格 模擬試験

生成AIパスポート 模擬試験 第4回 問12・第2章 生成AI(生成AIの学習プロセス)

追加学習後の性能低下

D社は、小型のLLMを契約書の要約データだけでファインチューニングした。契約書の要約は上手になったが、以前はできていた一般的な質問への回答や、メール文の作成が明らかに下手になった。この現象の説明として、最も適切なものを1つ選べ。

  1. A

    特定分野のデータだけで追加学習したため、事前学習で身につけた汎用的な能力が上書きされて損なわれた。

  2. B

    追加学習によってコンテキストウィンドウが短くなり、長い指示を読み取れなくなった。

  3. C

    学習データにない事柄を、もっともらしく作り出す幻覚の傾向が、追加学習によって強まった。

  4. D

    追加学習によってモデルの知識の期限が古い時点に戻り、新しい話題に答えられなくなった。

正解と解説を見る

正解:A

狭い分野のデータだけでファインチューニングすると、汎用的な能力が落ちることがある(破滅的忘却)。一般的なデータを混ぜる、LoRAなどで更新する範囲を小さくする、といった対策をとる。

学習のポイント:「できていたことができなくなった」は忘却。「事実と違う内容を作る」幻覚と区別する。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。