AI資格 模擬試験

生成AIパスポート 模擬試験 第2回 問25・第3章 AIエージェント(RAG(検索拡張生成))

検索のヒット率

C社は、RAGの検索部分を評価するため、正解となる文書がわかっている質問を10問用意した。表は、各質問で正解文書が検索結果の何位に出たかを示している。検索結果の上位3件をLLMに渡す設定のとき、正解文書がLLMに渡った質問の割合として、正しいものを1つ選べ。

  1. A

    50%

  2. B

    60%

  3. C

    70%

  4. D

    80%

正解と解説を見る

正解:B

RAGでは、LLMに渡す件数の中に正解文書が入っていなければ、正しく答えられない。上位k件に正解が入った割合を測ると、検索部分だけの性能を確かめられる。

質問Q1Q2Q3Q4Q5Q6Q7Q8Q9Q10
正解文書の順位1位4位2位上位10件に出ず1位3位6位1位2位5位

学習のポイント:4位や5位のように惜しい順位が多いときは、渡す件数を増やすほか、再ランクで順位を上げる方法も検討できる。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。