LLM-Anwendungen im Produktivbetrieb
Konzipieren, veröffentlichen, überwachen und betreiben Sie LLM-Anwendungen über die Demophase hinaus.
34 Beiträge (23 Artikel · 11 Videos)
Hier beginnen
Einige gute Beiträge für den Einstieg, bevor Sie die vollständige Übersicht durchsuchen.
13 Min. LesezeitDer LLM-Stack 2026: Modelle, Inferenz, Tooling und Zielkonflikte
Die Praxissicht eines Architekten auf den LLM-Stack 2026: Modellklassen, Inferenzanbieter, Orchestrierung, Evaluationstools und die Zielkonflikte, die bei produktiver KI tatsächlich zählen. Alles, was wir gern vor dem Start gewusst hätten.
Fortgeschritten
12 Min. LesezeitPrompts für den Produktivbetrieb entwerfen: System-, Entwickler- und Nutzerebene
Ein Governance-Muster, um vertrauenswürdige Anweisungen, Laufzeitdaten und Nutzereingaben zu trennen und Prompts anschließend risikogerecht zu versionieren, zu bewerten, bereitzustellen und zu beobachten.
Fortgeschritten
10 Min. LesezeitFehlermodi produktiver KI-Systeme: Was nach der Demo schiefgehen kann
KI-Systeme scheitern auf vorhersehbare Weise: durch Halluzinationen, veralteten Kontext, übermäßige Zustimmung, Prompt Injection, unsichere Werkzeugnutzung, Schemadrift und schwache Fallbacks. Ein Fehlermodusregister für Teams, die reale Workflows bereitstellen.
FortgeschrittenWeitere in diesem Thema
8 Min. LesezeitHermes oder n8n: passend zur Aufgabe wählen und bei Bedarf kombinieren
Eine Entscheidungshilfe für Hermes Agent und n8n: Deterministische Abläufe bleiben in n8n, während ein per Bearer-Token authentifizierter Hermes-API-Schritt oder ein separater Ereignis-Webhook klar begrenzte Agentenaufgaben übernimmt.
Mittelstufe
8 Min. LesezeitOpenClaw vs. Hermes: nach der Aufgabe entscheiden, nicht nach der Marke
OpenClaw und Hermes sind selbst gehostete Agentensysteme mit Überschneidungen, aber unterschiedlichen betrieblichen Stärken. Vergleichen Sie Kanalrouting, Webhooks, Tools und Automatisierungsgrenzen, bevor Sie sich für eines oder beide entscheiden.
Mittelstufe
10 Min. LesezeitExperimenteller Stack aus zwei DGX Sparks, DeepSeek-V4-Flash, n8n und Hermes
So bewerten Sie einen experimentellen Community-Pfad für DeepSeek-V4-Flash auf zwei DGX-Spark-Systemen, mit n8n für die deterministische Automatisierung und Hermes für Urteilsaufgaben.
Fortgeschritten
69 MinutenDie Agentenlandschaft – Erkenntnisse aus dem Produktiveinsatz von Agenten
MLOps.community. Der VP of AI von Prosus und ein KI-Entwickler berichten, was beim Einsatz von Agenten in den Portfoliounternehmen der Gruppe tatsächlich schiefging: Penetrationstests auf Prompt-Injection vor dem Start, ein unsicherer Schreibvorgang, als ein Jira-Agent an menschlichen Abkürzungen scheiterte, Offenlegung von Annahmen bei veraltetem Kontext und Rückfallmechanismen, die Agenten zusammenführten oder abschalteten, sobald diese zusätzliche kognitive Last verursachten. Der Vortrag wirkt wie das Fehlermodusregister des Artikels als Live-Postmortem.
Fortgeschritten
11 Min. LesezeitLangGraph vs. CrewAI vs. direkte API: Das richtige Agenten-Framework im Jahr 2026
Die Landschaft der Agenten-Frameworks ist im Jahr 2026 reifer, aber nicht übersichtlicher. LangGraph, CrewAI, Pydantic AI, OpenAI Agents SDK und direkte APIs eignen sich jeweils für bestimmte Teams und Projekte, jedoch nie für alle. Ein ehrlicher Vergleich und ein Entscheidungsrahmen.
Fortgeschritten
13 Min. LesezeitAgenten entwickeln, die nicht endlos in Schleifen laufen
Der häufigste Agentenfehler im Produktivbetrieb sind unendliche oder scheinbar unendliche Schleifen — Agenten wiederholen Aktionen, verzweigen sich und verbrauchen Tokens, ohne Fortschritte zu erzielen. Diese Architekturmuster sorgen dafür, dass Agenten selbst schwierige Aufgaben abschließen.
Fortgeschritten
12 Min. LesezeitComputer-Use- und Browser-Agenten im Produktiveinsatz
Demos von Computer-Use- und Browser-Agenten gehen viral. Produktiveinsätze in großem Maßstab sehen jedoch anders aus: eng begrenzter Umfang, umfassende Schutzmechanismen und sorgfältig gestaltete UX. Dieser Artikel zeigt funktionierende Muster, wiederkehrende Fehler und die tatsächliche Wirtschaftlichkeit.
Fortgeschritten
12 Min. LesezeitContext Engineering: Kontextfenster mit 1 Mio. Tokens ohne Qualitätsverlust nutzen
Kontextfenster mit 1 Mio. Tokens sind verfügbar, doch die Qualität sinkt lange vor diesem Grenzwert. Context Engineering ist die Disziplin, Kontextfenster wirksam zu nutzen: was aufgenommen, zusammengefasst oder aktuell abgerufen wird und welche Muster die Qualität bei wachsendem Kontext erhalten.
Fortgeschritten
12 Min. LesezeitInferenzkosten optimieren: Prompt-Caching, Routing und Ausgabe-Steuerung
Erstellen Sie anhand von Traces ein Kostenmodell für die Inferenz, optimieren Sie die größten gemessenen Kostenfaktoren und belegen Sie, dass jede Änderung die Aufgabenqualität erhält.
Fortgeschritten
13 Min. LesezeitEvals erstellen, die tatsächlich Regressionen erkennen
Die meisten Eval-Suites wirken beeindruckend, übersehen aber reale Regressionen. Evals, die relevante Fehler erkennen, erfordern sorgfältig aufgebaute Datensätze, empfindliche Metriken, kalibrierte Judges und eine Kultur des Vertrauens. Diese Muster nutzen Teams, die es richtig machen.
Fortgeschritten
13 Min. LesezeitFine-Tuning 2026: ein evidenzgeleitetes LoRA- und QLoRA-Experiment
Prüfen Sie, ob parametereffizientes Fine-Tuning gerechtfertigt ist, verwalten Sie die Daten, legen Sie ein reproduzierbares Experiment fest, vergleichen Sie Ergebnisse mit zurückgehaltenen Daten und Sicherheitstests und benchmarken Sie den Serving-Betrieb vor dem Deployment.
Fortgeschritten
14 Min. LesezeitMCP von Grund auf: Einen produktionsreifen Server in TypeScript entwickeln
Ein produktionsreifer Model-Context-Protocol-Server erfordert mehr als die Anbindung einiger Tools. Entscheidend sind Schemadesign, Authentifizierung, Fehlerbehandlung, Streaming, Observability und die betrieblichen Anforderungen, durch die MCP-Server im großen Maßstab zuverlässig nutzbar werden.
Fortgeschritten
12 Min. LesezeitMCP-Tools so entwerfen, dass LLMs sie zuverlässig verwenden
Die meisten MCP-Tools, die wir sehen, sind technisch korrekt, aber praktisch unbrauchbar. LLMs ignorieren sie, verwenden sie falsch oder rufen sie auf ungeeignete Weise auf. Diese Designprinzipien sorgen dafür, dass LLMs Tools zuverlässig einsetzen – mit konkreten Fehlerbildern und Korrekturen.
Fortgeschritten
12 Min. LesezeitGedächtnis für lang laufende Agenten entwickeln
Lang laufende Agenten benötigen ein eigenes Persistenzkonzept: Herkunft, Bestätigung, Mandantenisolierung, Abruftests, Aufbewahrungsdauer, Korrektur und nachweisbare Löschung.
Fortgeschritten
10 Min. LesezeitOrchestrierung mehrerer Modelle: Routing nach Kosten, Latenz und Qualität
Das Routing unterschiedlicher Aufgaben an verschiedene Modelle kann Kosten oder Latenz verringern. Ob sich die zusätzliche Komplexität auszahlt, zeigt jedoch nur eine Evaluierung anhand der konkreten Arbeitslast. Ein Überblick über Muster, Messgrößen und Fehlermodi.
Mittelstufe
12 Min. LesezeitObservability für LLM-Apps: Tracing, Kosten, Latenz und Qualitätsdrift
Erweitern Sie die übliche Observability um mehrstufige Traces, zurechenbare Kosten, Prompt- und Modellversionen, evaluierte Qualitätssignale, Datenschutzkontrollen und aus der jeweiligen Aufgabe abgeleitete Warnmeldungen.
Fortgeschritten
12 Min. LesezeitProduktionsreifes RAG entwickeln: Ingestion, Embedding, Retrieval, Reranking und Evals
Eine produktionsreife RAG-Pipeline umfasst sechs Stufen, deren spezifische Muster die Qualität bestimmen. Architektur, Entscheidungen je Stufe und konsequente iterative Evaluation unterscheiden ein funktionierendes RAG-System von einem enttäuschenden.
Fortgeschritten
14 Min. LesezeitPrompt Injection und LLM-Sicherheit: Bedrohungsmodelle und mehrschichtige Abwehr
Prompt Injection ist eine dauerhafte Klasse von LLM-Sicherheitsrisiken und kein Fehler beim Formulieren von Prompts. Ein Praxisleitfaden zu Bedrohungsmodellen, Datengrenzen, Werkzeugberechtigungen, Regressionstests, Überwachung und Reaktion auf Sicherheitsvorfälle.
Fortgeschritten
12 Min. LesezeitPrompting, RAG oder Fine-Tuning wählen — und wann Sie sie kombinieren sollten
Prompting, RAG und Fine-Tuning sind die drei großen Hebel, um große Sprachmodelle an Ihr Problem anzupassen. Jeder eignet sich für bestimmte Probleme und für andere nicht. Ein Entscheidungsrahmen, die realistischen Kosten jedes Ansatzes und erfolgreiche Kombinationsmuster für den Produktivbetrieb.
Fortgeschritten
13 Min. LesezeitUnit Economics für LLM-Produkte: ein Arbeitsblatt für evidenzbasierte Preise
Prüfen Sie vor der Preisfestlegung die Verteilung der Modellnutzung, den Deckungsbeitrag, die Fehlerbehandlung, den Supportaufwand und die Kundenbindung. Dieses Arbeitsblatt ersetzt unbelegte Marktbandbreiten durch überprüfbare Eingaben.
Fortgeschritten
13 Min. LesezeitStrukturierte Ausgaben und Function Calling: Muster für den Produktivbetrieb
Strukturierte Ausgaben und Function Calling bilden die Brücke vom „LLM, das Text generiert“ zum „System, das Aufgaben ausführt“. Im Produktivbetrieb zählen robuste Schemata, Fehlerbehandlung, Idempotenz und kontrollierte Degradation – nicht nur der JSON-Modus.
Fortgeschritten
211 MinutenTiefeneinblick in LLMs wie ChatGPT
Andrej Karpathy. Dies ist die klarste durchgängige Erklärung auf YouTube, was ein LLM tatsächlich ist: Vortraining, Tokenisierung, SFT, RLHF, Reinforcement Learning für Reasoning, Werkzeugnutzung und Halluzinationen. Die Detailtiefe reicht aus, um als Entwickler Modell-Zielkonflikte fundiert zu bewerten. Nach diesem Vortrag wirken die Entscheidungen im Artikel zwischen GPT-Klasse, Open-Weight- und Reasoning-Modellen nicht mehr wie Markenentscheidungen, sondern wie Entscheidungen über Trainingsverfahren.
Fortgeschritten
40 MinutenAndrej Karpathy: Software verändert sich (wieder)
Y Combinator. Karpathy beschreibt LLMs in seiner Keynote für die AI Startup School als eine neue Art von Computer: Versorgungsdienst, Chipfabrik und Betriebssystem in einem. Er plädiert für Produkte mit „partieller Autonomie“, deren Spielraum Menschen kontrollieren. Das ist die klarste Darstellung des Denkmodells auf Stack-Ebene, das der Artikel voraussetzt: Sie wählen Inferenzanbieter und Werkzeuge für ein programmierbares Substrat, nicht für einen Chatbot.
Fortgeschritten
9 MinutenLangSmith in 10 Minuten
LangChain. Der Mitgründer von LangChain führt durch einen LLM-Trace, ein Projekt und einen Datensatz. Er zeigt Tokenkosten, Latenz, Fehlerrate, aggregiertes Feedback und die Detailansicht eines einzelnen Spans für einen Retrieval-Schritt. Das Video veranschaulicht am besten, was der Artikel mit „Jeder Aufruf ist ein Span“ meint und weshalb strukturierte Traces einfachen Print-Logs überlegen sind.
Fortgeschritten
154 MinutenLLMs instrumentieren und evaluieren
Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase und Shreya Shankar behandeln Tracing, Protokollanalyse, LLM-as-a-Judge und den Arbeitsablauf zur Untersuchung realer Produktionsdaten. Hören Sie die Sitzung wie einen langen Podcast. Sie ist die beste ausführliche Darstellung der Kernaussage „Sehen Sie sich Ihre Traces an“, die wir auf YouTube gefunden haben.
Fortgeschritten
77 MinutenKI-Prompt-Engineering: ein Tiefeneinblick
Anthropic. Vier Prompt-Engineering-Fachleute von Anthropic aus Forschung, Alignment, angewandter KI und Developer Relations sprechen ausführlich über ihren Arbeitsalltag: wie sie Prompts unter Zeitdruck überarbeiten, was „Ehrlichkeit“ in Anweisungen bedeutet und wann XML-Gerüste helfen oder stören. Das Ebenenmodell des Artikels deckt sich unmittelbar mit ihrer Beschreibung der Arbeit. Hier lässt sich dieses Denkmodell am besten aus erster Hand hören.
Fortgeschritten
25 MinutenPrompting 101 | Programmieren mit Claude
Anthropic. Das Applied-AI-Team von Anthropic entwickelt in einer Live-Sitzung einen Prompt für die Bearbeitung von Versicherungsansprüchen. Es beginnt mit einer vagen Anweisung und arbeitet sich schrittweise zu etwas vor, das ein Entwickler tatsächlich ausliefern könnte. Dabei werden genau die Überarbeitungen an System- und Entwicklerebene sichtbar, die der Artikel beschreibt. Sehen Sie sich das Video an, bevor Sie die Checkliste des Artikels zu Beispielen, Ausgabestruktur und Ablehnungsverhalten erneut lesen.
Fortgeschritten
42 MinutenVertikale KI-Agenten könnten zehnmal größer werden als SaaS
Y Combinator. Die Lightcone-Moderatoren erläutern mit konkreten Beispielen, warum vertikale KI-Agenten anstelle horizontaler Wrapper Unternehmen auf der Anwendungsschicht einen dauerhafteren Wettbewerbsvorteil verschaffen könnten. Sie benennen außerdem nüchtern die Kategorien, die Modellanbieter voraussichtlich selbst übernehmen werden. Damit wird die Warnung des Artikels vor der Wrapper-Falle zu einem positiven Handlungsrahmen.
Fortgeschritten
34 MinutenWie KI Software-Geschäftsmodelle neu erfindet – mit Bret Taylor von Sierra
Sequoia Capital. Bret Taylor erläutert den Übergang von sitzplatzbasierter SaaS-Abrechnung zu ergebnisorientierter Preisgestaltung: geeignete Bezugsgrößen wie Falllösung, CSAT und NPS, die Schwierigkeiten etablierter Anbieter bei diesem Wandel und die Preissetzungsmacht vertikaler Spezialisierung. Das entspricht direkt den Abschnitten des Artikels zu Preisen und Margen.
Fortgeschritten
41 MinutenOpenAI DevDay 2024 | Strukturierte Ausgaben für zuverlässige Anwendungen
OpenAI. Der Vortrag behandelt `strict: true`, den Unterschied zum früheren JSON-Modus, den Umgang mit Ablehnungen sowie das Zusammenspiel von Funktionsaufrufen und Schemata für Antwortformate. Er ist besonders nützlich, weil er den API-Vertrag beschreibt, auf dem die Produktionsmuster des Artikels aufbauen.
Fortgeschritten
18 MinutenPydantic ist alles, was Sie brauchen: Jason Liu
AI Engineer. Dieser Vortrag prägte das moderne Muster „Pydantic-Modell definieren, an das LLM übergeben und den Rest der Validierung überlassen“. Er zeigt konkrete Beispiele für verschachtelte Objekte, Validatoren, die halluzinierte URLs erkennen, und Gedankengänge als typisiertes Feld. Sehen Sie ihn sich vor dem erneuten Lesen des Artikelabschnitts über Validatoren an; dann wird deutlich, woher dessen Regeln für Wiederholungsversuche und Ablehnungen stammen.
Fortgeschritten