追加学習後の性能低下
D社は、小型のLLMを契約書の要約データだけでファインチューニングした。契約書の要約は上手になったが、以前はできていた一般的な質問への回答や、メール文の作成が明らかに下手になった。この現象の説明として、最も適切なものを1つ選べ。
- A
特定分野のデータだけで追加学習したため、事前学習で身につけた汎用的な能力が上書きされて損なわれた。
- B
追加学習によってコンテキストウィンドウが短くなり、長い指示を読み取れなくなった。
- C
学習データにない事柄を、もっともらしく作り出す幻覚の傾向が、追加学習によって強まった。
- D
追加学習によってモデルの知識の期限が古い時点に戻り、新しい話題に答えられなくなった。
正解と解説を見る
正解:A
狭い分野のデータだけでファインチューニングすると、汎用的な能力が落ちることがある(破滅的忘却)。一般的なデータを混ぜる、LoRAなどで更新する範囲を小さくする、といった対策をとる。
- A
正しい。破滅的忘却と呼ばれる現象。偏ったデータで重みを大きく更新すると、以前できていた能力が失われることがある。
- B
誤り。コンテキスト長はモデルの構造と設定で決まり、通常の追加学習で短くなることはない。
- C
誤り。幻覚は事実と異なる内容を作る現象である。今回の問題は、以前できていたタスクの能力が全体的に落ちたことである。
- D
誤り。ファインチューニングをしても、知識の期限が過去に戻ることはない。メール作成のような能力の低下は、知識の新しさとは関係がない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。