自己生成データでの再学習
D社は、自社のLLMが生成した文章を大量に集め、人の確認や選別をせずに次のモデルの学習データにする方法を、何世代も繰り返す計画を立てた。この計画で特に懸念されることとして、最も適切なものを1つ選べ。
- A
出力の多様性が失われ、まれな表現や知識が消えたり、誤りが世代を追って増幅されたりする。
- B
自社モデルの出力を使うため著作権の問題が完全になくなり、学習データの権利確認が要らなくなる。
- C
学習データの量が増えるにつれて、モデルのパラメータ数が自動的に増え、推論の費用が膨らむ。
- D
生成した文章には新しい事実が含まれるため、知識のカットオフが世代ごとに新しくなりすぎる。
正解と解説を見る
正解:A
合成データは有効に使えるが、選別せずに自己出力の学習を繰り返すと、分布が狭まり品質が下がるおそれがある。人のデータとの混合や品質の選別が必要になる。
- A
正しい。モデルの出力は元のデータ分布より偏りやすく、それを繰り返し学ぶと分布が狭まっていく(モデル崩壊と呼ばれる)。
- B
誤り。懸念の中心は品質の劣化。また、出力に既存の著作物に似た内容が含まれる可能性もあり、確認が不要になるとはいえない。
- C
誤り。パラメータ数はモデルの設計で決まる。データ量が増えても自動的には増えない。
- D
誤り。自分の出力には、元のモデルが知らない新しい事実はほとんど含まれない。知識が新しくなるわけではない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。