ビジョン言語モデル

ビジョン言語モデル（VLM、Vision-Language Model）は、画像と文章の両方を理解できるAIモデルです。「この写真に何が写っていますか」「このグラフから読み取れる傾向を教えてください」のように、画像を見せながら言葉で質問すると、文章で答えてくれます。文章だけを扱う LLM に「見る力」を加えたものと考えると分かりやすいでしょう。

しくみ

多くの VLM は、次の部品を組み合わせています。

• 画像エンコーダー：画像を小さな区画に分け、それぞれを数値のベクトルに変換する部品
• 接続部分：画像の情報を、言語モデルが扱えるトークンの形に変換する層
• 言語モデル：画像由来のトークンと、質問の文章のトークンを並べて読み、回答を生成する本体

画像と文章の対応づけは、画像とその説明文の組を大量に使った学習で身につけます。最近は、はじめから画像と文章を一緒に学習させたモデルも多く、画像や音声、動画を区別なく扱うマルチモーダルなモデルの一部として提供されています。

具体例

• 手書きのメモを撮影して、内容を文字に起こしてもらう
• 店の棚の写真から、商品の欠品を見つける
• アプリの画面のスクリーンショットを見せて、エラーの原因を相談する
• 決算資料の図表を渡して、要点を日本語でまとめさせる

コンピューターを操作するAIが、画面を見て次の操作を決める仕組みにも、画像を理解する能力が使われています。

使うときの注意

• 見間違いや思い込みが起こります。 小さな文字、細かい数値、物の個数を数えることなどは、苦手な場合があります。画像についてのハルシネーションも起こりえます。
• 画像もトークンとして課金されます。 解像度が高いほど処理するトークンが増え、費用や待ち時間に影響します。
• 個人情報や機密に注意が必要です。 顔写真、書類、社内の画面などを送る場合は、外部サービスのデータの扱いを確認しましょう。
• 正確さが重要な文字読み取りには専用の OCR が向く場合があります。 帳票のように定型で大量の処理なら、OCR のほうが安定して安価なことも多く、併用も有効です。

関連する考え方

画像生成は逆向きの技術で、VLM が「画像を読む」のに対し、Text-to-Image は「画像を作る」ものです。両方を扱うモデルもあり、広い枠組みではマルチモーダルと呼ばれます。