32:07Anyscale
Das Video erläutert ein Beispiel mit 60–80% verschwendetem GPU-Speicher, PagedAttention und Batching. Es ergänzt das Kostenmodell des Artikels bei gleichwertiger Qualität; messen Sie Kapazität und Auslastung für Ihre eigene Last.
Was Sie aus diesem Video mitnehmen sollten: Verstehen, warum Serving-Engines, Batching und der Speicherbedarf des KV-Caches die Wirtschaftlichkeit selbst betriebener Inferenz bestimmen.
Das sollten Sie zuerst ansehen oder wissen: Grundwissen über Transformer-Inferenz, GPU-Speichergrenzen und die Abwägung zwischen APIs und Self-Hosting.
Hinweis von AI Expert: Das Denkmodell von PagedAttention bleibt wichtig, Durchsatzwerte und Standardeinstellungen von Serving-Engines veralten jedoch schnell. Nutzen Sie das Video für die Grundlagen und führen Sie anschließend Benchmarks mit Ihrem eigenen Modell, Ihrer Hardware, Ihrem Batchprofil und Ihren Verfügbarkeitsanforderungen durch, bevor Sie sich für eine Hostingvariante entscheiden.