Vidéos complémentaires

Inférence auto-hébergée ou gérée — vidéos complémentaires

L'article calcule le véritable seuil de rentabilité entre les API de fournisseurs et une infrastructure vLLM ou TGI auto-hébergée : taux d'utilisation, mémoire du cache KV, coût des GPU et charge d'astreinte. Il déconstruit ainsi l'idée reçue selon laquelle « l'auto-hébergement nous fera forcément économiser de l'argent ». La présentation des créateurs de vLLM offre la meilleure base technique pour comprendre pourquoi le moteur d'inférence est déterminant.

Choix principal

32:07
Servir rapidement des LLM avec vLLM et PagedAttention

Anyscale

La vidéo explique un exemple de gaspillage de 60–80% de la mémoire GPU, PagedAttention et le traitement par lots. Elle complète le modèle de coûts à qualité équivalente de l’article ; mesurez la capacité et l’utilisation pour votre propre charge.

Ce que vous en retirerez: Comprendre pourquoi le moteur d'inférence, le traitement par lots et la mémoire du cache KV dominent l'économie d'une infrastructure auto-hébergée.

À voir ou à connaître au préalable: Connaissance de base de l'inférence des transformateurs, des limites de mémoire GPU et des compromis entre API et auto-hébergement.

Note d’AI Expert: Le modèle mental de PagedAttention reste pertinent, mais les débits et les réglages par défaut des moteurs évoluent vite. Utilisez cette vidéo pour les fondamentaux, puis mesurez votre propre modèle, votre matériel, la forme de vos lots et vos exigences de disponibilité avant de choisir un mode d'hébergement.

Ouvrir la page vidéo