概要

推論 API で、変わらないプロンプト接頭辞の処理結果を再利用し、遅延とコストを抑える仕組み。
キャッシュポイントより前の内容が前回と同一のときだけヒットする。
Bedrock では Claude など対応モデルで明示的なキャッシュ制御が使え、最小トークン数や TTL の制約がある。
システム指示やツール定義など、リクエスト間で固定しやすい部分を置くのが定石。

関連

Contents