Hurtig LLM-inferens med vLLM og PagedAttention

32 minutterAvanceretUdviklerAnyscalePrivat / lokal AI
Afspil video

Anyscale. Videoen forklarer et eksempel med 60–80% spild af GPU-hukommelse, PagedAttention og batching. Den giver baggrund for omkostningsmodellen ved ens kvalitet; mål kapacitet og udnyttelse for din egen belastning.

Bemærkning fra AI Expert

Den grundlæggende model bag PagedAttention er fortsat relevant, men tal for gennemløb og standardindstillinger i inferensmotorer bliver hurtigt forældede. Brug videoen til at forstå principperne, og mål derefter din egen model, hardware, batchsammensætning og krav til oppetid, før du vælger hostingform.

Hvad du bør få ud af dette

Forstå, hvorfor inferensmotorer, batchbehandling og hukommelse til KV-cache har stor betydning for økonomien i selvhostet inferens.

Forudsætninger

Grundlæggende viden om transformerinferens, grænser for GPU-hukommelse og afvejninger mellem API'er og selvhosting.

Senest gennemgået: 18. maj 2026

Se næste

Fortsæt ad den samme læringsvej med de næste kuraterede videoer.