32:07Anyscale
Videon förklarar ett exempel med 60–80% slöseri med GPU-minne, PagedAttention och batchning. Den ger bakgrund till kostnadsmodellen vid likvärdig kvalitet; mät kapacitet och utnyttjande för din egen belastning.
Vad du bör få ut av detta: Förstå varför serveringsmotorer, batchning och minne för KV-cache dominerar ekonomin för inferens i egen drift.
Titta på eller ha koll på först: Grundläggande kunskaper om inferens i transformermodeller, begränsningar i GPU-minne och avvägningar mellan API:er och egen drift.
Anteckning från AI Expert: Den mentala modellen för PagedAttention är fortfarande viktig, men genomströmningstal och standardvärden i serveringsmotorer åldras snabbt. Använd videon för grunderna och prestandatesta sedan din egen modell, maskinvara, batchutformning och dina krav på tillgänglighet innan du fattar beslut om driftform.