学習データ汚染の見分け
A社は、公開Webから自動で集めた文章を使って、チャットボットを追加学習した。運用を始めると、特定の製品名を含む質問のときだけ、競合製品へ誘導する回答が出ることが分かった。調べると、収集元の一部に、その誘導文を大量に含むページがあった。この事象に最も近いリスクを1つ選べ。
- A
ハルシネーション
- B
ジェイルブレイク
- C
データポイズニング
- D
間接プロンプトインジェクション
正解と解説を見る
正解:C
データポイズニングは、学習の段階で不正なデータを混ぜ、モデルの出力をゆがめる攻撃。Webから自動で集めたデータで学習する場合は、収集元の確認やデータの点検が必要になる。
- A
誤り。根拠のない内容をもっともらしく作る現象。特定の条件で同じ誘導が起き、原因となるページもあるので、第三者による細工と考えられる。
- B
誤り。利用者が入力を工夫して、モデルの安全上の制限を外させる行為。学習データの汚染とは別のもの。
- C
正しい。学習データに細工したデータを混ぜ、特定の条件でモデルの振る舞いをゆがめる攻撃にあたる。
- D
誤り。推論時に読み込ませる外部の文書などに、指示を埋め込む攻撃。今回は、学習の段階でデータが汚染されている。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。