Optimización del coste de inferencia — vídeos complementarios

Prompt Engineering

Compara la caché de prompts de Anthropic con la caché de contexto de Gemini mediante reducciones concretas de latencia y coste para chat con documentos largos, *few-shot* y conversaciones de varios turnos. El desglose entre el recargo por escribir en caché y el descuento por leer de ella es exactamente lo que presupone el artículo al explicar cuándo compensa.

Qué aprenderás: Podrás estimar cuándo compensa la caché de prompts comparando el recargo de escritura con el ahorro de lectura para tus cargas reales.

Qué ver o saber antes: Conocimiento operativo sobre el precio de las API de LLM y las cargas de trabajo con prompts largos.

OpenAI

Es la Build Hour oficial de OpenAI sobre caché de prompts: el umbral de 1024 tokens, el requisito de estabilidad del prefijo, los grandes descuentos de caché de audio en tiempo real —consulta la tarifa exacta vigente— y el impacto sobre el tiempo hasta el primer token con entradas largas. Resulta útil para dimensionar el esfuerzo de ingeniería necesario para utilizar la caché de forma fiable con prompts de producción.

Qué aprenderás: Utilizarás la caché de prompts solo cuando los prefijos estables y el comportamiento de latencia y coste encajen con la carga.

Qué ver o saber antes: Ya deberías estar enviando prompts a través de la API de OpenAI — la sesión trata sobre acceder al caché de forma confiable en producción.