チャンクサイズの調整
C社は社内規程を検索して答えるRAGを作った。「出張費の上限」を聞くと、例外の条件が抜けた回答になることがある。チャンクの長さを3通りに変えて100問で試した結果が表である。結果の読み方として、最も適切なものを1つ選べ。
- A
チャンクは短いほど検索の精度が上がり、回答も正確になるので、Xにすれば例外の条件も抜けなくなる。
- B
チャンクは長いほど必要な情報が含まれるので、Zにすれば検索の順位も回答の正確さも最も高くなる。
- C
チャンクの長さは検索に影響せず、回答の質は生成モデルだけで決まるので、モデルを追加学習させる。
- D
Xは条件が途中で切れやすく、Zは関係の薄い内容が混じって上位に入りにくいので、Yを基準に調整する。
正解と解説を見る
正解:D
チャンクが短いと見つけやすいが文脈が切れ、長いと文脈は残るが検索の精度が落ちる。評価用の質問で両方を測って調整する。
| 設定 | チャンクの長さ | 正しい箇所を含むチャンクが検索の上位5件に入った割合 | そのチャンクに、答えに必要な前後の条件まで含まれていた割合 |
|---|---|---|---|
| X | 100トークン | 90% | 40% |
| Y | 500トークン | 85% | 80% |
| Z | 3,000トークン | 55% | 95% |
- A
誤り。Xは検索では有利だが、必要な条件まで含まれる割合が40%しかない。例外の条件が抜ける原因になる。
- B
誤り。Zは条件を含みやすいが、上位5件に入る割合が55%に下がる。検索の段階で取りこぼしが増える。
- C
誤り。表のとおり、チャンクの長さで検索結果は変わる。規程の検索の問題を、追加学習に置き換えるのは筋違い。
- D
正しい。短すぎると文脈が切れ、長すぎると検索の精度が落ちる。両方の指標が高いYを起点にする。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。