推論コストの最適化：プロンプトキャッシュ、ルーティング、出力制御 — 関連動画

Prompt Engineering

AnthropicのプロンプトキャッシュとGeminiのコンテキストキャッシュを、ユースケースごとの具体的なレイテンシーとコストの削減効果（長文ドキュメントのチャット、few-shot、複数ターン）を示しながら解説します。キャッシュ書き込み時の追加料金とキャッシュ読み取り時の割引を分けて考える説明は、記事がキャッシュの採算性を論じる際に前提としている内容そのものです。

このセクションから得られるもの: 実際のワークロードについて、キャッシュ書き込みの追加料金と読み取りによる節約額を比較し、プロンプトキャッシュが採算に合う場面を見積もれるようになります。

視聴または事前に知っておくべきもの: LLM APIの料金体系と長いプロンプトを扱うワークロードについて、実務的な知識が必要です。

OpenAI

OpenAI自身によるプロンプトキャッシュのBuild Hourです。1024トークンのしきい値、プレフィックスを安定させる要件、リアルタイム処理における音声キャッシュの大幅な割引（正確な割引率は最新の料金ページを確認してください）、長い入力が最初のトークンを得るまでの時間に与える影響を扱います。本番環境のプロンプトで確実にキャッシュを利用するための工数を見積もる際に役立ちます。

このセクションから得られるもの: 安定したプレフィックス、レイテンシー、コストの挙動がワークロードに合う場合に限り、プロンプトキャッシュを利用できるようになります。

視聴または事前に知っておくべきもの: OpenAI APIを使ったプロンプトをすでに本番提供していることを想定しています。このセッションの主題は、本番環境で確実にキャッシュを利用する方法です。