Constitutional AI

Constitutional AI（憲法AI）は、Anthropic が2022年に発表した、AI を無害で役に立つ存在に近づけるための学習方法です。人が大量の回答を見て「これは有害」とラベル付けする代わりに、あらかじめ文章で書いた原則の一覧（憲法）を AI に渡し、その原則に照らして AI 自身に回答を見直させます。

なぜ必要か

人手によるフィードバックには課題があります。有害な出力を人が大量に読む負担は大きく、評価者によって基準がばらつきます。また、何を基準に判断したのかが外から見えにくくなります。原則を文章として明示すれば、どんな価値観で調整したのかを人が読んで確かめ、修正できます。

しくみ

論文では、大きく2つの段階で構成されています。

• 自己批評と修正（教師あり段階）：モデルにあえて有害になりうる回答を出させ、原則の1つに照らして「どこが問題か」を批評させ、改善した回答を書き直させる。その修正後の回答を使ってモデルを学習する。
• AI によるフィードバックの強化学習（RLAIF）：2つの回答を AI に見せ、原則に照らしてどちらがよいかを判定させる。その比較データで好みのモデルを作り、強化学習に使う。人の比較の代わりに AI の判定を使う点が RLHF との違いです。

原則には、たとえば「他人に危害を与える手助けをしない回答を選ぶ」といった内容が書かれます。

具体例

会社の行動規範にたとえられます。担当者が個別の判断に迷うたびに上司へ確認する代わりに、行動規範という文書を参照して自分の行動を点検し、必要なら直します。規範を読めば、会社が何を大切にしているかも分かります。

使うときの注意・よくある誤解

• 原則を書けば安全になるわけではない：原則の書き方、どの原則を選ぶか、AI の判定がどれだけ正確かによって結果が変わります。他の安全対策との併用が前提です。
• AI の判断にも偏りがある：AI が評価するぶん、AI 側の癖や誤りが学習に混入する可能性があります。
• 人の関与がなくなるわけではない：原則を決めるのも、結果を確認するのも人です。
• 名称の使い方：この言葉は特定の手法の名前であり、「AI に憲法を持たせること」全般の呼び名ではありません。同様の発想は他社の研究にも見られますが、混同しないよう注意してください。

関連する考え方

Constitutional AI は、人の価値観に合わせるアラインメントの手法の1つで、RLHF の人手を減らす工夫と位置づけられます。AI の判定で作った比較データは、DPO のような直接最適化にも使えます。実際の運用では、ガードレールやレッドチーミングと組み合わせて安全性を確かめます。