#安全性

AIの安全性・ガバナンス・権利に関するもの

タグの種類：話題　タグの一覧

モデル2

AI用語5

  • ハルシネーションHallucinationAIが事実と異なる内容や存在しない情報を、もっともらしく出力してしまう現象です。架空の文献・URL・数値・機能などを作ることがあります。
  • RLHF（人間のフィードバックによる強化学習）Reinforcement Learning from Human Feedback人が「どちらの回答が良いか」を評価したデータをもとに、モデルの出力を人の好みや方針に近づける学習方法です。チャット向け LLM を役に立ち、安全に振る舞うよう調整するのに使われてきました。
  • プロンプトインジェクションPrompt InjectionAI が読み込む文章の中に悪意のある指示を紛れ込ませ、本来の指示とは違う動作をさせる攻撃です。Web ページ・メール・文書を読むエージェントで特に問題になります。
  • 電子透かし・C2PAWatermark / C2PAAI が生成したことや、コンテンツの作成・編集の履歴を示すための仕組みです。画像や音声に目に見えない印を埋め込む電子透かしと、来歴情報をファイルに付ける C2PA の規格があります。
  • ボイスクローンVoice Cloning短い録音をもとに、特定の人の声に似た音声を合成できるようにする技術です。本人のナレーションの多言語化や、収録の手間の削減に使われます。

企業1

  • AnthropicアンソロピックAI アシスタント Claude を開発する米国の AI 企業。安全性の研究を重視するパブリック・ベネフィット・コーポレーションとして運営されている。