使い方・開発 中級
コンピューター操作
Computer Use
AI が画面のスクリーンショットを見て、マウスのクリックやキーボード入力を行い、人と同じようにパソコンやブラウザを操作する機能です。API が用意されていないアプリやサイトでの作業を自動化できます。
別の呼び方Computer Use、ブラウザ操作、ブラウザエージェント、画面操作
例API のない古い社内システムへのデータ転記を、コンピューター操作の機能で試験的に自動化した。
詳しく
- 画面を見る → 次の操作を決める → 操作する → 結果の画面を見る、を繰り返して作業を進めます。
- API を使った連携に比べて遅く、画面の変化で失敗しやすいため、API や MCP で済む作業ではそちらが向いています。
- Web ページ上に仕込まれた指示に従ってしまう危険（プロンプトインジェクション）があるため、隔離した環境で動かす、ログイン情報を渡さない、購入や送信の前に人が確認する、といった対策が推奨されます。
あわせて知りたい言葉
- AIエージェント目標を与えられると、自分で手順を考え、ツールを使い、結果を見て次の行動を決める、という流れを繰り返して作業を進める AI のしくみです。1回の質問に1回答えるチャットとは違い、複数の手順をまたいで作業します。
- プロンプトインジェクションAI が読み込む文章の中に悪意のある指示を紛れ込ませ、本来の指示とは違う動作をさせる攻撃です。Web ページ・メール・文書を読むエージェントで特に問題になります。
- マルチモーダルテキスト・画像・音声・動画など、複数の種類のデータを入力または出力として扱えることを指します。画像を見て質問に答える、音声で会話する、といった使い方ができます。
- ツール呼び出しLLM が、あらかじめ定義された外部の関数や API を「この引数で呼んでほしい」と指定できる機能です。検索・計算・データベース参照・外部サービスの操作など、モデル単体ではできない処理につなげられます。