32:07Anyscale
La vidéo explique un exemple de gaspillage de 60–80% de la mémoire GPU, PagedAttention et le traitement par lots. Elle complète le modèle de coûts à qualité équivalente de l’article ; mesurez la capacité et l’utilisation pour votre propre charge.
Ce que vous en retirerez: Comprendre pourquoi le moteur d'inférence, le traitement par lots et la mémoire du cache KV dominent l'économie d'une infrastructure auto-hébergée.
À voir ou à connaître au préalable: Connaissance de base de l'inférence des transformateurs, des limites de mémoire GPU et des compromis entre API et auto-hébergement.
Note d’AI Expert: Le modèle mental de PagedAttention reste pertinent, mais les débits et les réglages par défaut des moteurs évoluent vite. Utilisez cette vidéo pour les fondamentaux, puis mesurez votre propre modèle, votre matériel, la forme de vos lots et vos exigences de disponibilité avant de choisir un mode d'hébergement.