使い方・開発　中級

プロンプトインジェクション

Prompt Injection

AI が読み込む文章の中に悪意のある指示を紛れ込ませ、本来の指示とは違う動作をさせる攻撃です。Web ページ・メール・文書を読むエージェントで特に問題になります。

別の呼び方間接プロンプトインジェクション、ジェイルブレイク

例受信メールを要約するエージェントに対し、本文に隠された指示で転送させるプロンプトインジェクションの検証を行った。

詳しく

  • 直接型：ユーザー自身が「これまでの指示を無視して」などと入力し、制限を外そうとするもの。
  • 間接型：AI が読み込む Web ページや文書、ツールの結果に指示が仕込まれているもの。エージェントが情報を外部に送ってしまう、といった被害につながりえます。

現時点で完全に防ぐ方法はなく、次のような対策を重ねます。

  • AI に与える権限やツールを必要最小限にする
  • 外部への送信・削除・支払いなど影響の大きい操作の前に人の確認を挟む
  • 機密データと信頼できない外部の入力を同じ作業で扱わない
  • 提供元の安全機能や、怪しい入力を検出する仕組みを使う

あわせて知りたい言葉

「使い方・開発」の言葉をすべて見る