基本 初級
マルチモーダル
Multimodal
テキスト・画像・音声・動画など、複数の種類のデータを入力または出力として扱えることを指します。画像を見て質問に答える、音声で会話する、といった使い方ができます。
別の呼び方マルチモーダルAI、マルチモーダルモデル
例マルチモーダルモデルに請求書の PDF を読ませ、金額と支払期日を抜き出した。
詳しく
- 入力側のマルチモーダル：画像・PDF・音声・動画を読み取り、内容を説明したり質問に答えたりします。図表の読み取りや画面のスクリーンショット解析に使われます。
- 出力側のマルチモーダル：テキストに加えて画像や音声を生成します。
- モデルによって扱える組み合わせが異なるため、「何を入力でき、何を出力できるか」を個別に確認する必要があります。
- 画像や音声も内部ではトークンとして数えられ、料金や文脈長に影響します。
あわせて知りたい言葉
- 大規模言語モデル大量のテキストで学習し、文章の続きを予測することで文章の生成・要約・翻訳・質問応答などをこなすモデルです。ChatGPT、Claude、Gemini などのサービスの中核にあります。
- Text-to-Xテキストを入力として画像・動画・音声・音楽などを生成することを表す呼び方です。X の部分に出力の種類が入り、Text-to-Image（画像）、Text-to-Video（動画）のように使います。
- トークンLLM がテキストを処理するときの最小単位です。単語や文字のかけらに相当し、料金・文脈長・出力の上限はトークン数で数えられます。
- コンピューター操作AI が画面のスクリーンショットを見て、マウスのクリックやキーボード入力を行い、人と同じようにパソコンやブラウザを操作する機能です。API が用意されていないアプリやサイトでの作業を自動化できます。