Build Hour: Almacenamiento en caché de prompts

OpenAI. Es la Build Hour oficial de OpenAI sobre caché de prompts: el umbral de 1024 tokens, el requisito de estabilidad del prefijo, los grandes descuentos de caché de audio en tiempo real —consulta la tarifa exacta vigente— y el impacto sobre el tiempo hasta el primer token con entradas largas. Resulta útil para dimensionar el esfuerzo de ingeniería necesario para utilizar la caché de forma fiable con prompts de producción.

Ver siguiente

Continúa por el mismo itinerario de aprendizaje con los siguientes vídeos complementarios seleccionados.

32 minutos

Serving rápido de LLM con vLLM y PagedAttention

Comprenderás por qué los motores de inferencia, el procesamiento por lotes y la caché KV dominan la economía del alojamiento propio.

AvanzadoIA privada/local

34 minutos

Cómo la IA está reinventando los modelos de negocio del software ft. Bret Taylor de Sierra

Evaluarás los precios y la especialización de un producto de IA en torno a resultados medibles, no al número de puestos.

AvanzadoIA para empresas

6 minutos

Agentes de voz de IA: cómo funcionan realmente y por qué suenan tan humanos

Reconocerás la arquitectura básica de un agente de voz y los puntos de fallo que afectan a la confianza del cliente en llamadas reales.

AvanzadoAutomatizaciones