Costes y operaciones de modelos
Controla el coste de inferencia, elige patrones de alojamiento, dirige las solicitudes entre modelos y comprende los compromisos operativos.
9 contenidos (4 artículos · 5 vídeos)
Comienza aquí
Una selección inicial antes de explorar todo el contenido.
10 min de lecturaOrquestación de múltiples modelos: enrutamiento por coste, latencia y calidad
Enrutar diferentes tareas a distintos modelos puede reducir el coste o la latencia, pero solo una evaluación específica de la carga de trabajo puede demostrar si la complejidad añadida vale la pena. Los patrones, las mediciones y los modos de fallo.
Intermedio
12 min de lecturaOptimización de costes en inferencia: almacenamiento en caché de prompts, enrutamiento y control de salida
Construye un modelo de costes de inferencia basado en trazas, optimiza los mayores contribuyentes medidos y demuestra que cada cambio preserva la calidad de la tarea.
Avanzado
11 min de lecturaInferencia en infraestructura propia frente a gestionada: un modelo de punto de equilibrio auditable
¿A partir de qué escala sale más rentable operar infraestructura propia que usar API? El cálculo real, las condiciones operativas y los patrones que distinguen a los equipos que deberían gestionar sus modelos de los que deberían seguir pagando por inferencia gestionada.
AvanzadoMás sobre este tema
6 min de lecturaVersión gratuita vs. de pago de ChatGPT: qué incluye realmente la actualización
Comparación sin jerga de la versión gratuita de ChatGPT, ChatGPT Plus y ChatGPT Pro — qué cambia al actualizar y cómo saber si realmente necesitas hacerlo.
Primeros pasos con IA
19 minutos¿Es el fin del RAG? El nuevo almacenamiento en caché de prompts de Anthropic
Prompt Engineering. Compara la caché de prompts de Anthropic con la caché de contexto de Gemini mediante reducciones concretas de latencia y coste para chat con documentos largos, *few-shot* y conversaciones de varios turnos. El desglose entre el recargo por escribir en caché y el descuento por leer de ella es exactamente lo que presupone el artículo al explicar cuándo compensa.
Avanzado
56 minutosBuild Hour: Almacenamiento en caché de prompts
OpenAI. Es la Build Hour oficial de OpenAI sobre caché de prompts: el umbral de 1024 tokens, el requisito de estabilidad del prefijo, los grandes descuentos de caché de audio en tiempo real —consulta la tarifa exacta vigente— y el impacto sobre el tiempo hasta el primer token con entradas largas. Resulta útil para dimensionar el esfuerzo de ingeniería necesario para utilizar la caché de forma fiable con prompts de producción.
Avanzado
19 minutosTodos los modelos de IA, explicados
Tina Huang. Es un recorrido claro por el panorama actual de modelos, agrupados por gama —modelos de gama alta, ligeros, de gama media y especializados—, con recomendaciones concretas para las tareas que mejor encajan en cada una. Cubre la mitad del artículo dedicada a «conocer las opciones antes de enrutar» y Huang plantea la relación entre coste y capacidad del mismo modo que el artículo, sin apoyarse en el sensacionalismo de los benchmarks.
Intermedio
9 minutosRouteLLM alcanza el 90% de la calidad de GPT4o y cuesta un 80% menos
Matthew Berman. Recorre el artículo académico y el código de RouteLLM de LMSYS: un pequeño clasificador se sitúa delante de un par formado por un modelo potente y otro básico, y decide a cuál llamar. De este modo alcanza aproximadamente el 95% de la calidad del modelo potente por una fracción del coste. Las visualizaciones quedan por debajo del umbral habitual de 100k, pero, para la necesidad específica de «mostrar enrutamiento real, no solo comparar modelos», es la explicación más clara de YouTube y coincide directamente con la sección del artículo sobre la contrapartida entre calidad y coste.
Intermedio
32 minutosServing rápido de LLM con vLLM y PagedAttention
Anyscale. El vídeo explica un ejemplo de desperdicio del 60–80% de memoria GPU, PagedAttention y procesamiento por lotes. Aporta contexto al modelo de costes con calidad equivalente; mide la capacidad y utilización para tu propia carga.
Avanzado