チャンク分割の調整
B社は、社内規程を検索して答えるRAGを導入した。ところが「出張の日当は支給されるか」という質問に「支給される」とだけ答え、同じ条文の後半にある「日帰りで片道50km未満のときは支給しない」という例外を落とすことが多い。調べると、規程を一定の文字数で機械的に区切っており、条文の途中で分割されていた。最初に行う対策として、最も適切なものを1つ選べ。
- A
コンテキスト長がより長いLLMに切り替えて、検索結果を読み込める量を増やす
- B
条や項の区切りに合わせて分割し直し、前後のチャンクが一部重なるように設定する
- C
社内規程の全文でLLMをファインチューニングし、規程の内容を覚えさせる
- D
Temperatureを上げて、回答にいろいろな条件が含まれるようにする
正解と解説を見る
正解:B
RAGの回答の質は、文書をどう分割するかに大きく左右される。意味のまとまりで区切り、前後に重なりを持たせると、条件や例外を落としにくくなる。
- A
誤り。例外部分が検索で選ばれていなければ、読み込める量を増やしてもLLMには渡らない。まず分割の仕方を直す必要がある。
- B
正しい。原因は、条文の途中で切れて例外部分が別のチャンクに分かれたこと。意味のまとまりで区切り、重なりを持たせれば、本文と例外を一緒に取り出しやすくなる。
- C
誤り。ファインチューニングは文書の正確な暗記に向かず、規程が改定されるたびに学習し直す必要もある。検索部分の分割の問題は解決しない。
- D
誤り。Temperatureは出力のばらつきを調整する設定で、検索されなかった例外を補うことはできない。かえって根拠のない内容が混ざりやすくなる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。