Vídeos complementarios

Inferencia con alojamiento propio frente a gestionada — vídeos complementarios

El artículo calcula el punto de equilibrio real entre proveedores de API y vLLM/TGI con alojamiento propio: utilización, memoria de caché KV, economía de las GPU y carga de las guardias. También desmonta la creencia infundada de que «ahorraremos dinero con alojamiento propio». La charla de los autores de vLLM ofrece la base técnica más clara para entender por qué importa un motor de inferencia.

Selección principal

32:07
Serving rápido de LLM con vLLM y PagedAttention

Anyscale

El vídeo explica un ejemplo de desperdicio del 60–80% de memoria GPU, PagedAttention y procesamiento por lotes. Aporta contexto al modelo de costes con calidad equivalente; mide la capacidad y utilización para tu propia carga.

Qué aprenderás: Comprenderás por qué los motores de inferencia, el procesamiento por lotes y la caché KV dominan la economía del alojamiento propio.

Qué ver o saber antes: Conocimientos básicos de inferencia con transformers, límites de memoria de GPU y contrapartidas entre API y alojamiento propio.

Nota de AI Expert: El modelo mental de PagedAttention sigue siendo importante, pero las cifras de rendimiento y los valores predeterminados de los motores evolucionan con rapidez. Utiliza el vídeo para comprender los fundamentos y después evalúa tu propio modelo, hardware, forma de lote y requisitos de disponibilidad antes de decidir.

Abrir página del vídeo