Orchestration multi-modèles — vidéos complémentaires

Tina Huang

Ce tour d’horizon clair du paysage actuel regroupe les modèles par catégorie — phares, légers, intermédiaires et spécialisés — et recommande des usages concrets pour chacune. C’est le volet « connaître ses options avant d’effectuer le routage » de l’article. Huang présente le rapport coût/capacités de la même manière que l’article, sans s’appuyer sur le battage autour des évaluations comparatives.

Ce que vous en retirerez: Comparer les modèles phares, légers, intermédiaires et spécialisés afin de fonder les décisions de routage sur l’adéquation à la tâche, le coût et la latence plutôt que sur une préférence de marque.

À voir ou à connaître au préalable: Aucun au-delà de l’article — il s’agit du volet « connaître ses options » qui précède tout travail de routage.

Matthew Berman

La vidéo présente l’article scientifique et le code de LMSYS RouteLLM : un petit classificateur placé devant une paire composée d’un modèle performant et d’un modèle plus faible décide lequel appeler, pour atteindre environ 95 % de la qualité du modèle performant à une fraction du coût. La vidéo reste sous notre seuil habituel de 100 000 vues, mais, dans le créneau précis « montrez-moi un véritable routage de modèles, pas seulement des comparaisons », c’est l’explication la plus claire sur YouTube. Elle correspond directement à la section de l’article consacrée au compromis qualité/coût.

Ce que vous en retirerez: Évaluer les compromis de routage entre qualité, coût et fiabilité avant d'ajouter de la complexité d'orchestration.

À voir ou à connaître au préalable: Être à l’aise avec la lecture de Python et les appels aux API de modèles ; la carte des catégories de la sélection principale est utile.