使い方・開発 中級
評価（eval）
Evals
AI の出力がどれくらい目的に合っているかを、決めたテストケースと基準で測ることです。モデルやプロンプトを変えたときに、良くなったか悪くなったかを判断する根拠になります。
別の呼び方eval、evals、評価セット、ベンチマーク
例モデルを切り替える前に、過去の問い合わせ200件で評価を回して回答の正しさを比べた。
詳しく
- 公開ベンチマークは、モデル同士を大まかに比べる目安になりますが、自社の業務での性能を直接示すものではありません。
- 実務では、自社の実際の入力に近いテストケースと、期待する出力や採点基準を用意して評価します。
- 採点には、完全一致・正規表現などの機械的なチェック、人による確認、別の LLM に採点させる方法（LLM-as-a-judge）などがあり、組み合わせて使います。
- プロンプトやモデルを変えるたびに同じ評価を回すと、知らないうちに品質が下がることを防げます。