レッドチーミング

レッドチーミングは、システムの作り手とは別の立場の人が攻撃者になりきり、弱点を見つけ出す検証手法です。もともとは軍事やセキュリティの世界で使われてきた方法で、AIでも安全性の確認に広く使われています。

何をするのか

AIのレッドチームは、モデルやサービスに対して、次のような問題が起きないかを意図的に試します。

• 危険な情報（武器、犯罪など）を出力しないか。
• 差別的、攻撃的な内容や、偏った回答をしないか。
• 個人情報や機密を漏らさないか。
• ジェイルブレイクやプロンプトインジェクションに耐えられるか。
• エージェントとして使うとき、許されていない操作をしないか。
• 事実と異なる内容を、確信をもって述べないか。

人間の専門家が手作業で試す方法に加え、別のAIに攻撃の入力を大量に作らせて自動で試す方法も使われています。

なぜ必要か

通常のテストは、「期待どおりに動くか」を確認します。しかしAIでは、想定していない入力に対する振る舞いが問題になります。作り手は自分のシステムの癖に慣れており、思いつく攻撃にも限りがあります。外の視点を持つ人に壊してもらうことで、公開前に見落としを発見できます。

進め方の例

• 範囲を決める：どのリスクを重点的に調べるか。サービスの用途に合わせて選ぶ。
• 多様な人を集める：セキュリティ、医療、法務、特定の言語・文化に詳しい人など、観点を広げる。
• 記録する：成功した攻撃の入力と出力を残し、再現できるようにする。
• 直す：学習データの追加、ガードレールの強化、仕様の変更などで対処する。
• 再テストする：直した後に、同じ攻撃が防げているか確認する。この一覧は、のちの評価用データとして使い回せます。

使うときの注意・よくある誤解

• 「問題が見つからなかった＝安全」ではありません。見つけられなかっただけの可能性があり、できるのは「確認した範囲での安全性を高める」ことです。
• 一度やれば終わりでもありません。モデルの更新や機能追加のたびに、新しい弱点が生じます。
• テストの実施は、許可を得た環境で、ルールを決めて行います。見つかった危険な出力の取り扱いにも配慮が必要です。
• 多くの企業が、外部の専門家や一般の研究者に脆弱性の報告を募る取り組みも行っています。

関連する考え方

守る仕組みであるガードレールと、攻めて確かめるレッドチーミングは、組にして運用します。AIの品質評価全般を扱う evals の一部として、安全性のテストを位置づけることもできます。