新旧の規程が混ざる対策
総務部では、社内規程を検索して答えるRAGの社内チャットを運用している。規程の改定後、改定前の旧版を根拠にした回答が出ることがあった。旧版と新版のファイルは、どちらも検索の対象に入っている。対策として、最も適切なものを1つ選べ。
- A
回答が古い場合はハルシネーションなので、システムプロンプトで事実だけを答えるよう指示する。
- B
各チャンクに版や施行日のメタデータを付けて現行版だけを検索するか、旧版を索引から外す。
- C
新版の規程でモデルをファインチューニングし、新しい内容を重みに覚えさせる。
- D
チャンクサイズを大きくし、1回の検索で新旧両方の版が同時に取得されるようにする。
正解と解説を見る
正解:B
RAGの回答の正しさは、何が検索されるかに大きく左右される。版や日付のメタデータで絞り込んだり、索引を整理したりして、古い文書が取得されないようにする。
- A
誤り。これは幻覚ではなく、取得した旧版の文書に忠実に答えた結果である。指示を変えても検索結果は変わらない。
- B
正しい。原因は検索で旧版が取得されることにある。検索対象を現行版に絞れば、根拠となる文書そのものを正せる。
- C
誤り。旧版が検索され続けるかぎり、プロンプトには旧版が入る。更新のたびに再学習が必要になり、運用にも向かない。
- D
誤り。新旧が両方プロンプトに入ると、どちらを根拠にするかがあいまいになり、誤りがかえって起きやすくなる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。