再ランクで順位が変わる理由
A社のサポート部門は、社内マニュアルを検索して回答するRAGを使っている。表は、質問「請求書を再発行する手順は?」に対して、埋め込みの類似度で検索したあとに再ランクをかけた結果である。この再ランクの説明として、最も適切なものを1つ選べ。
- A
類似度がしきい値に届かないチャンクを候補から外し、残ったチャンクは初回の検索の順位のままLLMに渡す工程である。
- B
初回の検索で候補を絞ったあと、質問と各チャンクの組み合わせを細かく評価し直し、質問に答えている内容を上位に並べ直す工程である。
- C
検索結果をもとに埋め込みモデルを追加学習し、各チャンクのベクトルそのものを作り直して、類似度の値を更新する工程である。
- D
LLMが生成した回答文を読み直し、マニュアルの記述と合わない部分を見つけて書き換え、最終的な回答に整える工程である。
正解と解説を見る
正解:B
埋め込み検索は速いが、話題が近いだけの文書も上位に来やすい。再ランクでは候補を絞ったあとに質問との関係を詳しく評価し直し、回答に使うチャンクの順位を並べ替える。
| チャンク | 内容の要約 | 埋め込みの類似度(初回の順位) | 再ランク後の順位 |
|---|---|---|---|
| X | 請求書の発行時期と締め日 | 0.82(1位) | 3位 |
| Y | 管理画面から請求書を再発行する操作 | 0.80(2位) | 1位 |
| Z | 領収書を再発行する操作 | 0.79(3位) | 2位 |
- A
誤り。再ランクの要点は順位を並べ替えること。表でも初回1位のXが3位に下がっている。
- B
正しい。再ランクは候補を詳しく評価し直す工程で、表でも質問にそのまま答えるYが1位に上がっている。
- C
誤り。再ランクはモデルの学習ではなく、取り出した候補の並べ替え。ベクトルを作り直すわけではない。
- D
誤り。再ランクは生成の前に、LLMへ渡すチャンクを選ぶ工程。生成後の校正とは違う。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。