使い方・開発 中級
プロンプトキャッシュ
Prompt Caching
繰り返し送る同じ内容のプロンプト（システムプロンプトや長い資料など）の処理結果を一時的に保存し、再利用する仕組みです。料金と応答までの時間を減らせます。
別の呼び方キャッシュ、コンテキストキャッシュ、Context Caching
例200ページのマニュアルを毎回先頭に付けて質問していたので、プロンプトキャッシュを有効にして入力コストを下げた。
詳しく
- キャッシュから読み込んだ入力トークンは、通常の入力より安い単価で課金されるのが一般的です。提供元によっては、キャッシュへの書き込みに追加料金がかかる場合もあります。
- 対象になるのはプロンプトの先頭から一致している部分です。毎回変わる内容は後ろに置き、変わらない内容を前にまとめるのが基本です。
- キャッシュには保持期間があり、一定時間使われないと消えます。
- 明示的に指定が必要な方式と、自動で適用される方式があり、提供元ごとに条件が異なります。
あわせて知りたい言葉
- トークン単価LLM の API で、処理したトークン数に応じて料金が決まる仕組みと、その単価のことです。「100万トークンあたり何ドル」と表示されるのが一般的です。
- システムプロンプト会話全体を通じてAIの役割・口調・守るべきルールを決めるために、ユーザーの発言とは別に与える指示です。アプリ開発者が API で設定するのが一般的です。
- バッチ処理多数のリクエストをまとめて送り、すぐではなく一定時間内に処理してもらう方式です。リアルタイムの応答が不要な大量処理を、通常より安く実行できます。
- 文脈長モデルが1回の処理で扱えるトークン数の上限です。入力（指示・会話履歴・資料）と出力の合計がこの範囲に収まる必要があります。