Kosten und Modellbetrieb

Orchestrierung mehrerer Modelle: Routing nach Kosten, Latenz und Qualität

Das Routing unterschiedlicher Aufgaben an verschiedene Modelle kann Kosten oder Latenz verringern. Ob sich die zusätzliche Komplexität auszahlt, zeigt jedoch nur eine Evaluierung anhand der konkreten Arbeitslast. Ein Überblick über Muster, Messgrößen und Fehlermodi.

12 Min. Lesezeit

Inferenzkosten optimieren: Prompt-Caching, Routing und Ausgabe-Steuerung

Erstellen Sie anhand von Traces ein Kostenmodell für die Inferenz, optimieren Sie die größten gemessenen Kostenfaktoren und belegen Sie, dass jede Änderung die Aufgabenqualität erhält.

11 Min. Lesezeit

Self-Hosting oder gehostete Inferenz: ein überprüfbares Break-even-Modell

Ab welchem Umfang ist Self-Hosting günstiger als API-Aufrufe? Die tatsächliche Kostenrechnung, die betrieblichen Anforderungen und die Merkmale, anhand derer Teams zwischen Eigenbetrieb und verwalteter Inferenz entscheiden können.

Weitere in diesem Thema

13 Min. Lesezeit

Der LLM-Stack 2026: Modelle, Inferenz, Tooling und Zielkonflikte

Die Praxissicht eines Architekten auf den LLM-Stack 2026: Modellklassen, Inferenzanbieter, Orchestrierung, Evaluationstools und die Zielkonflikte, die bei produktiver KI tatsächlich zählen. Alles, was wir gern vor dem Start gewusst hätten.

6 Min. Lesezeit

ChatGPT kostenlos oder kostenpflichtig: Was ein Upgrade tatsächlich bringt

Ein verständlicher Vergleich von ChatGPT Free, ChatGPT Plus und ChatGPT Pro: Was ändert sich durch ein Upgrade, und woran erkennen Sie, ob Sie es tatsächlich benötigen?

Neu bei KI

10 Min. Lesezeit

Lokale KI auf Ihrem Mac: Ollama, LM Studio und was 7B-Modelle wirklich können

Das lokale Ausführen von KI hat sich weiterentwickelt. Mit Ollama oder LM Studio und einem modernen Mac können Sie leistungsstarke Modelle offline, kostenlos und privat nutzen. Was funktioniert, was nicht und welche Anwendungsfälle wirklich davon profitieren.

211 Minuten

Tiefeneinblick in LLMs wie ChatGPT

Andrej Karpathy. Dies ist die klarste durchgängige Erklärung auf YouTube, was ein LLM tatsächlich ist: Vortraining, Tokenisierung, SFT, RLHF, Reinforcement Learning für Reasoning, Werkzeugnutzung und Halluzinationen. Die Detailtiefe reicht aus, um als Entwickler Modell-Zielkonflikte fundiert zu bewerten. Nach diesem Vortrag wirken die Entscheidungen im Artikel zwischen GPT-Klasse, Open-Weight- und Reasoning-Modellen nicht mehr wie Markenentscheidungen, sondern wie Entscheidungen über Trainingsverfahren.

40 Minuten

Andrej Karpathy: Software verändert sich (wieder)

Y Combinator. Karpathy beschreibt LLMs in seiner Keynote für die AI Startup School als eine neue Art von Computer: Versorgungsdienst, Chipfabrik und Betriebssystem in einem. Er plädiert für Produkte mit „partieller Autonomie“, deren Spielraum Menschen kontrollieren. Das ist die klarste Darstellung des Denkmodells auf Stack-Ebene, das der Artikel voraussetzt: Sie wählen Inferenzanbieter und Werkzeuge für ein programmierbares Substrat, nicht für einen Chatbot.

19 Minuten

Ist das das Ende von RAG? Anthropics NEUES Prompt-Caching

Prompt Engineering. Das Video vergleicht Anthropics Prompt-Caching mit Geminis Context Caching und zeigt konkrete Latenz- und Kostensenkungen für Chats mit langen Dokumenten, Few-Shot- und Multi-Turn-Anwendungen. Die Gegenüberstellung des Aufpreises für Cache-Schreibvorgänge und des Rabatts für Cache-Lesevorgänge entspricht genau der Annahme des Artikels dazu, wann sich Caching auszahlt.

56 Minuten

Build Hour: Prompt-Caching

OpenAI. OpenAIs eigene Build Hour zum Prompt-Caching behandelt die Schwelle von 1024 Tokens, die erforderliche Stabilität des Präfixes, hohe Rabatte für Echtzeit-Audio-Caching, deren genauen Satz Sie auf der aktuellen Preisseite finden, und die Auswirkung langer Eingaben auf die Zeit bis zum ersten Token. Das ist nützlich, wenn Sie den technischen Aufwand abschätzen, um den Cache mit produktiven Prompts zuverlässig zu treffen.

19 Minuten

Jedes KI-Modell erklärt

Tina Huang. Ein klarer Überblick über die aktuelle Modelllandschaft, gegliedert in Flaggschiff-, Lite-, Mittelklasse- und Spezialmodelle, mit konkreten Empfehlungen zu den jeweiligen Stärken. Das Video deckt die Hälfte des Artikels ab, in der es darum geht, die Optionen vor dem Routing zu kennen. Huang betrachtet Kosten und Leistungsfähigkeit ähnlich wie der Artikel, ohne sich auf Benchmark-Hype zu stützen.

9 Minuten

RouteLLM erreicht 90% GPT4o Qualität UND 80% BILLIGER

Matthew Berman. Führt durch den RouteLLM-Fachartikel und den zugehörigen Code von LMSYS: Ein kleiner Klassifikator wird einem Paar aus starkem und schwachem Modell vorgeschaltet und entscheidet, welches Modell aufgerufen wird. So erreicht das System ungefähr 95% der Qualität des starken Modells zu einem Bruchteil der Kosten. Die Aufrufzahl liegt unter der üblichen 100k-Marke. Für die spezielle Frage „Wie sieht echtes Modell-Routing statt eines bloßen Modellvergleichs aus?“ ist dies jedoch die klarste Erklärung auf YouTube und passt direkt zum Abschnitt des Artikels über den Zielkonflikt zwischen Qualität und Kosten.

32 Minuten

Schnelle LLM-Bereitstellung mit vLLM und PagedAttention

Anyscale. Der Vortrag erklärt, weshalb naives LLM-Serving 60–80% des GPU-Speichers verschwendet, wie PagedAttention dieses Problem mit einem an Betriebssysteme angelehnten Paging-Verfahren löst und warum Continuous Batching den 24× höheren Durchsatz ermöglicht, den der Artikel in seiner Berechnung verwendet. Danach wirkt die Aussage des Artikels, dass bereits 50% Auslastung ein guter Wert wären, nicht mehr abstrakt.