Serving rápido de LLM con vLLM y PagedAttention

32 minutosAvanzadoCreadorAnyscaleIA privada/local
Reproducir vídeo

Anyscale. El vídeo explica un ejemplo de desperdicio del 60–80% de memoria GPU, PagedAttention y procesamiento por lotes. Aporta contexto al modelo de costes con calidad equivalente; mide la capacidad y utilización para tu propia carga.

Nota de AI Expert

El modelo mental de PagedAttention sigue siendo importante, pero las cifras de rendimiento y los valores predeterminados de los motores evolucionan con rapidez. Utiliza el vídeo para comprender los fundamentos y después evalúa tu propio modelo, hardware, forma de lote y requisitos de disponibilidad antes de decidir.

Qué aprenderás

Comprenderás por qué los motores de inferencia, el procesamiento por lotes y la caché KV dominan la economía del alojamiento propio.

Qué ver o saber antes

Conocimientos básicos de inferencia con transformers, límites de memoria de GPU y contrapartidas entre API y alojamiento propio.

Última revisión: 18 may 2026

Ver siguiente

Continúa por el mismo itinerario de aprendizaje con los siguientes vídeos complementarios seleccionados.