ガードレール

ガードレールは、AIが想定外・不適切な振る舞いをしないように、入力・出力・動作の周りに設ける制限や検査の仕組みです。名前の通り、車が道路から外れるのを防ぐ柵のように、AIが危険な領域に出ないようにします。

なぜ必要か

LLM の出力は確率的で、毎回まったく同じではありません。どれだけ指示を丁寧に書いても、まれに不適切な発言、機密の漏えい、事実と異なる案内をすることがあります。お客様に直接応答するサービスや、社内システムを操作できるエージェントでは、その1回の失敗が大きな損害になります。モデル自体の安全性の学習（アライメント）に加えて、外側から二重に守るのがガードレールの役割です。

主な種類

• 入力のチェック：ユーザーの入力に、禁止された話題、個人情報、攻撃的な指示（プロンプトインジェクションなど）が含まれていないか確認し、必要なら拒否やマスキングをする。
• 出力のチェック：回答に、有害表現、機密情報、根拠のない断定が含まれていないか検査してから、ユーザーに見せる。形式（JSON など）が正しいかの検証も含まれる。
• 動作の制限：エージェントが使えるツールや権限を絞る。たとえば、読み取りのみ許可、金額の上限設定、削除や送信の前に人間の承認を求める、など。
• 話題の範囲の限定：サービスの目的外の質問には答えない。

実装は、キーワードや正規表現による単純な判定、別の小さなAIモデルによる分類、ルールエンジンなどを組み合わせて作られます。

具体例

銀行の問い合わせボットで、利用者がうっかり口座番号を書き込んだとき、それを検出して伏せ字にし、回答にも番号が出ないようにする。社内の経費精算エージェントが、一定額を超える支払いを実行する前に、必ず担当者の承認を挟む。こうした設計がガードレールです。

使うときの注意・よくある誤解

• 万能ではない：巧妙な入力でくぐり抜けられることがあります。ジェイルブレイクの手口は次々に変わるため、一度設定して終わりにはできません。
• 厳しすぎる弊害：過剰に止めると、正当な質問まで拒否して使い勝手が落ちます。見逃しと過剰拒否のバランスを、実データで調整します。
• 遅延と費用が増える：検査のたびに処理が加わります。
• システムプロンプトだけに頼らない：「〜しないで」という指示は守られない場合があるため、確実に防ぎたい事柄は、仕組みとして強制します。

関連する考え方

守りの強さは、レッドチーミングで実際に攻撃してみて確かめます。重要な操作に人間の確認を入れる考え方は、ヒューマン・イン・ザ・ループと呼ばれます。