テストデータの使い方
Cさんは迷惑メールを判定するモデルを作った。データを学習用70%・検証用15%・テスト用15%に分けた。そのうえで、学習率や層の数の設定を変えるたびにテストデータで正解率を測り、テストデータで最も高い96%を出した設定を採用した。ところが本番で運用すると、正解率は89%にとどまった。この結果の説明として、最も適切なものを1つ選べ。
- A
テストデータの割合が15%と少なかったので、割合を増やせば、設定選びに何度使っても評価は偏らない。
- B
テストデータを見ながら設定を選んだので、選んだ設定がテストデータに合わせ込まれ、性能を高く見積もっていた。
- C
設定ごとの性能は、テストデータではなく学習データの正解率で比べれば、本番の性能に近い値が得られる。
- D
検証データとテストデータを1つにまとめて設定選びに使えば、本番の性能をより正確に見積もれる。
正解と解説を見る
正解:B
学習データは重みの学習、検証データは設定(ハイパーパラメータ)の選択、テストデータは最終評価に使う。テストデータを調整に使うと、評価が楽観的になる。
- A
誤り。割合を増やしても、テストデータで設定を選べば、そのテストデータに合わせ込まれる。問題は量ではなく使い方にある。
- B
正しい。テストデータで設定を選ぶと、テストデータも実質的に調整に使ったことになる。設定の選択は検証データで行い、テストデータは最後に一度だけ使う。
- C
誤り。学習データの正解率は、モデルがすでに見たデータでの値なので、さらに高く出やすい。設定は検証データで比べる。
- D
誤り。まとめて設定選びに使うと、調整に関わっていないデータがなくなる。未知のデータでの性能は確かめられない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。