公開ベンチマークの読み方
J社がモデルを選定していたところ、モデルXは有名な公開ベンチマークで他のモデルより高い点数を出していた。しかし、自社の問い合わせデータで試すと、他のモデルより成績が悪かった。この結果の解釈と、その後の対応として最も適切なものを1つ選べ。
- A
自社データで成績が悪いのは温度の設定が高いためなので、温度を下げれば公開ベンチマークどおりの性能が出る。
- B
ベンチマークの点数は幻覚の少なさを直接表すので、自社データの試験結果より点数を優先して選ぶ。
- C
公開ベンチマークで上位のモデルは、どの業務でも上位になるので、試験の手順に誤りがあったと判断する。
- D
公開ベンチマークの問題が学習データに混入していた可能性などがあるので、自社業務に近い独自の評価データで比べる。
正解と解説を見る
正解:D
公開ベンチマークは比較の目安になるが、学習データへの混入(データ汚染)や、業務とのずれがある。導入前には、自社の業務データで評価する必要がある。
- A
誤り。温度は出力のばらつきを変える設定にすぎず、点数の差を説明する根拠にならない。
- B
誤り。ベンチマークは特定の問題群での成績にすぎず、幻覚の少なさを直接示すものではない。業務での結果を軽く見るのは危うい。
- C
誤り。モデルの得意分野はタスクによって違う。ベンチマークの順位が業務での順位と一致するとは限らない。
- D
正しい。公開された問題は学習データに入り込みやすく、点数が実力以上に出ることがある。ベンチマークの内容が業務と合わない場合もある。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。