AI資格 模擬試験

G検定 模擬試験 第6回 問90・ディープラーニングの応用例(マルチモーダル)

視覚言語モデル

画像を理解して、文章で質問に答えられる視覚言語モデル(LLaVAなど)の典型的な構成として、最も適切なものを1つ選べ。

  1. A

    画像を、音声に変換してから、言語モデルに入力する。

  2. B

    言語モデルは使わず、画像を、色のヒストグラムだけで分類する。

  3. C

    画像エンコーダで画像を特徴ベクトルにし、変換層(射影)で言語モデルの入力の形にして、言語モデルに入力する。

  4. D

    画像と文章を、まったく別々に処理し、結果を連結しない。

正解と解説を見る

正解:C

視覚言語モデルは、画像エンコーダ(CLIPのViTなど)の出力を、変換層で言語モデルの埋め込みに合わせ、文章のトークンとあわせて、言語モデルに入力する。

画像から画像エンコーダと射影層を通した特徴と、文章の質問をあわせて言語モデルに入れ、回答を出す流れ図。

視覚言語モデル:画像エンコーダで画像の特徴を取り出し、射影層で言語モデルが扱える形にして、文章の指示と一緒に言語モデルへ入れる。

学習のポイント:指示チューニングで、対話ができるようにする。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。