Orquestación multimodelo — vídeos complementarios

Tina Huang

Es un recorrido claro por el panorama actual de modelos, agrupados por gama —modelos de gama alta, ligeros, de gama media y especializados—, con recomendaciones concretas para las tareas que mejor encajan en cada una. Cubre la mitad del artículo dedicada a «conocer las opciones antes de enrutar» y Huang plantea la relación entre coste y capacidad del mismo modo que el artículo, sin apoyarse en el sensacionalismo de los benchmarks.

Qué aprenderás: Compararás modelos de gama alta, ligeros, de gama media y especializados para basar el enrutamiento en la adecuación a la tarea, el coste y la latencia, no en la preferencia por una marca.

Qué ver o saber antes: Ninguno aparte del artículo; esta es la parte dedicada a conocer las opciones antes de implementar el enrutamiento.

Matthew Berman

Recorre el artículo académico y el código de RouteLLM de LMSYS: un pequeño clasificador se sitúa delante de un par formado por un modelo potente y otro básico, y decide a cuál llamar. De este modo alcanza aproximadamente el 95% de la calidad del modelo potente por una fracción del coste. Las visualizaciones quedan por debajo del umbral habitual de 100k, pero, para la necesidad específica de «mostrar enrutamiento real, no solo comparar modelos», es la explicación más clara de YouTube y coincide directamente con la sección del artículo sobre la contrapartida entre calidad y coste.

Qué aprenderás: Evaluarás las contrapartidas del enrutamiento entre calidad, coste y fiabilidad antes de añadir complejidad de orquestación.

Qué ver o saber antes: Sentirse cómodo leyendo Python y llamando a API de modelos; ayuda conocer el mapa de gamas de la elección principal.