Tilhørende videoer

Selvhostet eller administreret inferens — ledsagende videoer

Artiklen opstiller en efterprøvbar nulpunktsberegning mellem API-udbydere og selvhostet vLLM/TGI. Den medregner udnyttelsesgrad, hukommelse til KV-cache, GPU-økonomi og udgifter til vagtberedskab og udfordrer antagelsen om, at selvhosting automatisk er billigere. Præsentationen fra vLLM-forfatterne giver den tekniske baggrund for, hvorfor en inferensmotor påvirker regnestykket.

Primært valg

32:07
Hurtig LLM-inferens med vLLM og PagedAttention

Anyscale

Videoen forklarer et eksempel med 60–80% spild af GPU-hukommelse, PagedAttention og batching. Den giver baggrund for omkostningsmodellen ved ens kvalitet; mål kapacitet og udnyttelse for din egen belastning.

Hvad du bør få ud af dette: Forstå, hvorfor inferensmotorer, batchbehandling og hukommelse til KV-cache har stor betydning for økonomien i selvhostet inferens.

Forudsætninger: Grundlæggende viden om transformerinferens, grænser for GPU-hukommelse og afvejninger mellem API'er og selvhosting.

Bemærkning fra AI Expert: Den grundlæggende model bag PagedAttention er fortsat relevant, men tal for gennemløb og standardindstillinger i inferensmotorer bliver hurtigt forældede. Brug videoen til at forstå principperne, og mål derefter din egen model, hardware, batchsammensætning og krav til oppetid, før du vælger hostingform.

Åbn videoside