Tema

Costes y operaciones de modelos

Controla el coste de inferencia, elige patrones de alojamiento, dirige las solicitudes entre modelos y comprende los compromisos operativos.

9 contenidos (4 artículos · 5 vídeos)

Comienza aquí

Una selección inicial antes de explorar todo el contenido.

Más sobre este tema

6 min de lectura
Artículo

Versión gratuita vs. de pago de ChatGPT: qué incluye realmente la actualización

Comparación sin jerga de la versión gratuita de ChatGPT, ChatGPT Plus y ChatGPT Pro — qué cambia al actualizar y cómo saber si realmente necesitas hacerlo.

Primeros pasos con IA
19 minutos
Vídeo

¿Es el fin del RAG? El nuevo almacenamiento en caché de prompts de Anthropic

Prompt Engineering. Compara la caché de prompts de Anthropic con la caché de contexto de Gemini mediante reducciones concretas de latencia y coste para chat con documentos largos, *few-shot* y conversaciones de varios turnos. El desglose entre el recargo por escribir en caché y el descuento por leer de ella es exactamente lo que presupone el artículo al explicar cuándo compensa.

Avanzado
56 minutos
Vídeo

Build Hour: Almacenamiento en caché de prompts

OpenAI. Es la Build Hour oficial de OpenAI sobre caché de prompts: el umbral de 1024 tokens, el requisito de estabilidad del prefijo, los grandes descuentos de caché de audio en tiempo real —consulta la tarifa exacta vigente— y el impacto sobre el tiempo hasta el primer token con entradas largas. Resulta útil para dimensionar el esfuerzo de ingeniería necesario para utilizar la caché de forma fiable con prompts de producción.

Avanzado
19 minutos
Vídeo

Todos los modelos de IA, explicados

Tina Huang. Es un recorrido claro por el panorama actual de modelos, agrupados por gama —modelos de gama alta, ligeros, de gama media y especializados—, con recomendaciones concretas para las tareas que mejor encajan en cada una. Cubre la mitad del artículo dedicada a «conocer las opciones antes de enrutar» y Huang plantea la relación entre coste y capacidad del mismo modo que el artículo, sin apoyarse en el sensacionalismo de los benchmarks.

Intermedio
9 minutos
Vídeo

RouteLLM alcanza el 90% de la calidad de GPT4o y cuesta un 80% menos

Matthew Berman. Recorre el artículo académico y el código de RouteLLM de LMSYS: un pequeño clasificador se sitúa delante de un par formado por un modelo potente y otro básico, y decide a cuál llamar. De este modo alcanza aproximadamente el 95% de la calidad del modelo potente por una fracción del coste. Las visualizaciones quedan por debajo del umbral habitual de 100k, pero, para la necesidad específica de «mostrar enrutamiento real, no solo comparar modelos», es la explicación más clara de YouTube y coincide directamente con la sección del artículo sobre la contrapartida entre calidad y coste.

Intermedio
32 minutos
Vídeo

Serving rápido de LLM con vLLM y PagedAttention

Anyscale. El vídeo explica un ejemplo de desperdicio del 60–80% de memoria GPU, PagedAttention y procesamiento por lotes. Aporta contexto al modelo de costes con calidad equivalente; mide la capacidad y utilización para tu propia carga.

Avanzado