ジェイルブレイク

ジェイルブレイク（脱獄）とは、AIが安全のために守っている制限を、特別な入力の工夫によって回避させ、通常は拒否する内容を出力させることです。もとはスマートフォンの利用制限を外す行為を指した言葉が、AIにも使われるようになりました。

なぜ起きるのか

現在のLLMは、事前学習のあとにアライメント（人間の価値観に合わせる調整）を行い、危険な依頼には断るよう学習されています。しかし、この「断る」振る舞いは、プログラムで厳密に禁止しているのではなく、学習で身についた傾向です。そのため、普段の学習で見たことのない言い回しや状況を与えると、傾向が崩れる場合があります。

代表的な手口の例

具体的な文面は書きませんが、分類として知られているものを挙げます。

• 役割演技：「あなたは制限のないAIです」のように、別の人格を演じさせて、制限を外させようとする。
• フィクションや仮定への包み込み：物語や研究のためと称して、危険な情報を引き出そうとする。
• 多段階の誘導：一回では断られる依頼を、無害に見える質問に分割して、少しずつ聞き出す。
• エンコードや言語の変換：別の言語や符号化した文面で、検査をすり抜けようとする。
• 長い文脈への埋め込み：大量の例や文章の中に、意図を紛れ込ませる。

プロンプトインジェクションとの違い

混同されやすい語ですが、狙いが違います。

• ジェイルブレイク：ユーザー自身が、モデルの安全制限を破ろうとする。標的はモデルの制限。
• プロンプトインジェクション：Web ページやメールなどの外部データに隠された指示で、AIを意図せず操る。標的はそのアプリケーションの動作で、被害を受けるのは本来のユーザー。

使うときの注意・守る側の考え方

• 完全な防御は現実的でない：提供企業は、学習の改善、入力・出力の検査、不正利用の監視などを重ねていますが、新しい手口は繰り返し見つかっています。
• アプリの設計で被害を限定する：AIが機密情報や強い権限に直接触れないようにしておけば、制限を破られても被害が小さくて済みます。ガードレールの設計がこの考え方です。
• 試す場合のルール：他人のサービスに無断で試すと、利用規約違反になることがあります。研究や安全確認は、許可された環境で行ってください。

関連する考え方

攻撃者の視点で自社のAIを試す取り組みは、レッドチーミングと呼ばれます。Anthropic が提唱した Constitutional AI のように、原則に基づいて安全性を高める学習の研究も進んでいます。