32:07Anyscale
Videoen forklarer et eksempel med 60–80% spild af GPU-hukommelse, PagedAttention og batching. Den giver baggrund for omkostningsmodellen ved ens kvalitet; mål kapacitet og udnyttelse for din egen belastning.
Hvad du bør få ud af dette: Forstå, hvorfor inferensmotorer, batchbehandling og hukommelse til KV-cache har stor betydning for økonomien i selvhostet inferens.
Forudsætninger: Grundlæggende viden om transformerinferens, grænser for GPU-hukommelse og afvejninger mellem API'er og selvhosting.
Bemærkning fra AI Expert: Den grundlæggende model bag PagedAttention er fortsat relevant, men tal for gennemløb og standardindstillinger i inferensmotorer bliver hurtigt forældede. Brug videoen til at forstå principperne, og mål derefter din egen model, hardware, batchsammensætning og krav til oppetid, før du vælger hostingform.