検索のヒット率
C社は、RAGの検索部分を評価するため、正解となる文書がわかっている質問を10問用意した。表は、各質問で正解文書が検索結果の何位に出たかを示している。検索結果の上位3件をLLMに渡す設定のとき、正解文書がLLMに渡った質問の割合として、正しいものを1つ選べ。
- A
50%
- B
60%
- C
70%
- D
80%
正解と解説を見る
正解:B
RAGでは、LLMに渡す件数の中に正解文書が入っていなければ、正しく答えられない。上位k件に正解が入った割合を測ると、検索部分だけの性能を確かめられる。
| 質問 | Q1 | Q2 | Q3 | Q4 | Q5 | Q6 | Q7 | Q8 | Q9 | Q10 |
|---|---|---|---|---|---|---|---|---|---|---|
| 正解文書の順位 | 1位 | 4位 | 2位 | 上位10件に出ず | 1位 | 3位 | 6位 | 1位 | 2位 | 5位 |
- A
誤り。3位のQ6を数え忘れると5問で50%になる。「上位3件」には3位も含まれる。
- B
正しい。3位以内はQ1(1位)、Q3(2位)、Q5(1位)、Q6(3位)、Q8(1位)、Q9(2位)の6問。6÷10=60%。
- C
誤り。4位のQ2まで含めると7問で70%になる。上位4件を渡したときの値で、設定と合わない。
- D
誤り。5位までのQ2とQ10も含めた8問の値。上位5件を渡す設定のときの割合になる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。