AI資格 模擬試験

生成AIパスポート 模擬試験 第6回 問19・第2章 生成AI(ChatGPTと主要な生成AIモデルの動向)

公開ベンチマークの読み方

J社がモデルを選定していたところ、モデルXは有名な公開ベンチマークで他のモデルより高い点数を出していた。しかし、自社の問い合わせデータで試すと、他のモデルより成績が悪かった。この結果の解釈と、その後の対応として最も適切なものを1つ選べ。

  1. A

    自社データで成績が悪いのは温度の設定が高いためなので、温度を下げれば公開ベンチマークどおりの性能が出る。

  2. B

    ベンチマークの点数は幻覚の少なさを直接表すので、自社データの試験結果より点数を優先して選ぶ。

  3. C

    公開ベンチマークで上位のモデルは、どの業務でも上位になるので、試験の手順に誤りがあったと判断する。

  4. D

    公開ベンチマークの問題が学習データに混入していた可能性などがあるので、自社業務に近い独自の評価データで比べる。

正解と解説を見る

正解:D

公開ベンチマークは比較の目安になるが、学習データへの混入(データ汚染)や、業務とのずれがある。導入前には、自社の業務データで評価する必要がある。

学習のポイント:高い点数の裏には、混入と業務とのずれの2つの可能性がある。最後は自社データの評価で決める。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。