使い方・開発 中級
バッチ処理
Batch API
多数のリクエストをまとめて送り、すぐではなく一定時間内に処理してもらう方式です。リアルタイムの応答が不要な大量処理を、通常より安く実行できます。
別の呼び方バッチ API、Batch API、一括処理
例過去3年分の問い合わせ記録の分類は急ぎではないので、夜間にバッチ処理で流した。
詳しく
- 主要な LLM の API では、バッチ処理が通常の料金から割引されることが多く、割引率は各社の料金ページで確認できます。
- 結果が返ってくるまで最大で数時間〜1日程度かかることがあります（上限は提供元ごとに異なります）。
- 大量の文書の分類・要約・翻訳、評価（eval）の実行、データの前処理などに向いています。
- プロンプトキャッシュと組み合わせられる場合もあります。
あわせて知りたい言葉
- APIプログラムから AI モデルを呼び出すための窓口です。自社のアプリや業務システムに AI の機能を組み込むときに使います。
- トークン単価LLM の API で、処理したトークン数に応じて料金が決まる仕組みと、その単価のことです。「100万トークンあたり何ドル」と表示されるのが一般的です。
- プロンプトキャッシュ繰り返し送る同じ内容のプロンプト（システムプロンプトや長い資料など）の処理結果を一時的に保存し、再利用する仕組みです。料金と応答までの時間を減らせます。
- レート制限API やサービスで、一定時間内に送れるリクエスト数や処理できるトークン数に設けられた上限です。超えるとエラーが返り、しばらく待つ必要があります。