Begleitvideos

Self-Hosting oder gehostete Inferenz – Begleitvideos

Der Artikel arbeitet die tatsächliche Break-even-Rechnung zwischen API-Anbietern und selbst betriebenen vLLM- beziehungsweise TGI-Systemen durch: Auslastung, Speicherbedarf des KV-Caches, GPU-Kosten und Bereitschaftsdienst. Damit stellt er die unreflektierte Annahme infrage, Self-Hosting spare automatisch Geld. Der Vortrag der vLLM-Autoren liefert die klarste technische Grundlage dafür, warum eine Serving-Engine überhaupt relevant ist.

Hauptauswahl

32:07
Schnelle LLM-Bereitstellung mit vLLM und PagedAttention

Anyscale

Das Video erläutert ein Beispiel mit 60–80% verschwendetem GPU-Speicher, PagedAttention und Batching. Es ergänzt das Kostenmodell des Artikels bei gleichwertiger Qualität; messen Sie Kapazität und Auslastung für Ihre eigene Last.

Was Sie aus diesem Video mitnehmen sollten: Verstehen, warum Serving-Engines, Batching und der Speicherbedarf des KV-Caches die Wirtschaftlichkeit selbst betriebener Inferenz bestimmen.

Das sollten Sie zuerst ansehen oder wissen: Grundwissen über Transformer-Inferenz, GPU-Speichergrenzen und die Abwägung zwischen APIs und Self-Hosting.

Hinweis von AI Expert: Das Denkmodell von PagedAttention bleibt wichtig, Durchsatzwerte und Standardeinstellungen von Serving-Engines veralten jedoch schnell. Nutzen Sie das Video für die Grundlagen und führen Sie anschließend Benchmarks mit Ihrem eigenen Modell, Ihrer Hardware, Ihrem Batchprofil und Ihren Verfügbarkeitsanforderungen durch, bevor Sie sich für eine Hostingvariante entscheiden.

Videoseite öffnen