LLM-Anwendungen im Produktivbetrieb
Konzipieren, veröffentlichen, überwachen und betreiben Sie LLM-Anwendungen über die Demophase hinaus.
17 Beiträge (12 Artikel · 5 Videos)
Hier beginnen
Einige gute Beiträge für den Einstieg, bevor Sie die vollständige Übersicht durchsuchen.
12 Min. LesezeitPrompts für den Produktivbetrieb entwerfen: System-, Entwickler- und Nutzerebene
Ein Governance-Muster, um vertrauenswürdige Anweisungen, Laufzeitdaten und Nutzereingaben zu trennen und Prompts anschließend risikogerecht zu versionieren, zu bewerten, bereitzustellen und zu beobachten.
Fortgeschritten
10 Min. LesezeitFehlermodi produktiver KI-Systeme: Was nach der Demo schiefgehen kann
KI-Systeme scheitern auf vorhersehbare Weise: durch Halluzinationen, veralteten Kontext, übermäßige Zustimmung, Prompt Injection, unsichere Werkzeugnutzung, Schemadrift und schwache Fallbacks. Ein Fehlermodusregister für Teams, die reale Workflows bereitstellen.
FortgeschrittenWeitere in diesem Thema
8 Min. LesezeitHermes oder n8n: passend zur Aufgabe wählen und bei Bedarf kombinieren
Eine Entscheidungshilfe für Hermes Agent und n8n: Deterministische Abläufe bleiben in n8n, während ein per Bearer-Token authentifizierter Hermes-API-Schritt oder ein separater Ereignis-Webhook klar begrenzte Agentenaufgaben übernimmt.
Mittelstufe
10 Min. LesezeitExperimenteller Stack aus zwei DGX Sparks, DeepSeek-V4-Flash, n8n und Hermes
So bewerten Sie einen experimentellen Community-Pfad für DeepSeek-V4-Flash auf zwei DGX-Spark-Systemen, mit n8n für die deterministische Automatisierung und Hermes für Urteilsaufgaben.
Fortgeschritten
69 MinutenDie Agentenlandschaft – Erkenntnisse aus dem Produktiveinsatz von Agenten
MLOps.community. Der VP of AI von Prosus und ein KI-Entwickler berichten, was beim Einsatz von Agenten in den Portfoliounternehmen der Gruppe tatsächlich schiefging: Penetrationstests auf Prompt-Injection vor dem Start, ein unsicherer Schreibvorgang, als ein Jira-Agent an menschlichen Abkürzungen scheiterte, Offenlegung von Annahmen bei veraltetem Kontext und Rückfallmechanismen, die Agenten zusammenführten oder abschalteten, sobald diese zusätzliche kognitive Last verursachten. Der Vortrag wirkt wie das Fehlermodusregister des Artikels als Live-Postmortem.
Fortgeschritten
12 Min. LesezeitInferenzkosten optimieren: Prompt-Caching, Routing und Ausgabe-Steuerung
Erstellen Sie anhand von Traces ein Kostenmodell für die Inferenz, optimieren Sie die größten gemessenen Kostenfaktoren und belegen Sie, dass jede Änderung die Aufgabenqualität erhält.
Fortgeschritten
13 Min. LesezeitFine-Tuning 2026: ein evidenzgeleitetes LoRA- und QLoRA-Experiment
Prüfen Sie, ob parametereffizientes Fine-Tuning gerechtfertigt ist, verwalten Sie die Daten, legen Sie ein reproduzierbares Experiment fest, vergleichen Sie Ergebnisse mit zurückgehaltenen Daten und Sicherheitstests und benchmarken Sie den Serving-Betrieb vor dem Deployment.
Fortgeschritten
12 Min. LesezeitMCP-Tools so entwerfen, dass LLMs sie zuverlässig verwenden
Die meisten MCP-Tools, die wir sehen, sind technisch korrekt, aber praktisch unbrauchbar. LLMs ignorieren sie, verwenden sie falsch oder rufen sie auf ungeeignete Weise auf. Diese Designprinzipien sorgen dafür, dass LLMs Tools zuverlässig einsetzen – mit konkreten Fehlerbildern und Korrekturen.
Fortgeschritten
12 Min. LesezeitGedächtnis für lang laufende Agenten entwickeln
Lang laufende Agenten benötigen ein eigenes Persistenzkonzept: Herkunft, Bestätigung, Mandantenisolierung, Abruftests, Aufbewahrungsdauer, Korrektur und nachweisbare Löschung.
Fortgeschritten
10 Min. LesezeitOrchestrierung mehrerer Modelle: Routing nach Kosten, Latenz und Qualität
Das Routing unterschiedlicher Aufgaben an verschiedene Modelle kann Kosten oder Latenz verringern. Ob sich die zusätzliche Komplexität auszahlt, zeigt jedoch nur eine Evaluierung anhand der konkreten Arbeitslast. Ein Überblick über Muster, Messgrößen und Fehlermodi.
Mittelstufe
12 Min. LesezeitObservability für LLM-Apps: Tracing, Kosten, Latenz und Qualitätsdrift
Erweitern Sie die übliche Observability um mehrstufige Traces, zurechenbare Kosten, Prompt- und Modellversionen, evaluierte Qualitätssignale, Datenschutzkontrollen und aus der jeweiligen Aufgabe abgeleitete Warnmeldungen.
Fortgeschritten
14 Min. LesezeitPrompt Injection und LLM-Sicherheit: Bedrohungsmodelle und mehrschichtige Abwehr
Prompt Injection ist eine dauerhafte Klasse von LLM-Sicherheitsrisiken und kein Fehler beim Formulieren von Prompts. Ein Praxisleitfaden zu Bedrohungsmodellen, Datengrenzen, Werkzeugberechtigungen, Regressionstests, Überwachung und Reaktion auf Sicherheitsvorfälle.
Fortgeschritten
12 Min. LesezeitPrompting, RAG oder Fine-Tuning wählen — und wann Sie sie kombinieren sollten
Prompting, RAG und Fine-Tuning sind die drei großen Hebel, um große Sprachmodelle an Ihr Problem anzupassen. Jeder eignet sich für bestimmte Probleme und für andere nicht. Ein Entscheidungsrahmen, die realistischen Kosten jedes Ansatzes und erfolgreiche Kombinationsmuster für den Produktivbetrieb.
Fortgeschritten
9 MinutenLangSmith in 10 Minuten
LangChain. Der Mitgründer von LangChain führt durch einen LLM-Trace, ein Projekt und einen Datensatz. Er zeigt Tokenkosten, Latenz, Fehlerrate, aggregiertes Feedback und die Detailansicht eines einzelnen Spans für einen Retrieval-Schritt. Das Video veranschaulicht am besten, was der Artikel mit „Jeder Aufruf ist ein Span“ meint und weshalb strukturierte Traces einfachen Print-Logs überlegen sind.
Fortgeschritten
154 MinutenLLMs instrumentieren und evaluieren
Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase und Shreya Shankar behandeln Tracing, Protokollanalyse, LLM-as-a-Judge und den Arbeitsablauf zur Untersuchung realer Produktionsdaten. Hören Sie die Sitzung wie einen langen Podcast. Sie ist die beste ausführliche Darstellung der Kernaussage „Sehen Sie sich Ihre Traces an“, die wir auf YouTube gefunden haben.
Fortgeschritten
77 MinutenKI-Prompt-Engineering: ein Tiefeneinblick
Anthropic. Vier Prompt-Engineering-Fachleute von Anthropic aus Forschung, Alignment, angewandter KI und Developer Relations sprechen ausführlich über ihren Arbeitsalltag: wie sie Prompts unter Zeitdruck überarbeiten, was „Ehrlichkeit“ in Anweisungen bedeutet und wann XML-Gerüste helfen oder stören. Das Ebenenmodell des Artikels deckt sich unmittelbar mit ihrer Beschreibung der Arbeit. Hier lässt sich dieses Denkmodell am besten aus erster Hand hören.
Fortgeschritten
25 MinutenPrompting 101 | Programmieren mit Claude
Anthropic. Das Applied-AI-Team von Anthropic entwickelt in einer Live-Sitzung einen Prompt für die Bearbeitung von Versicherungsansprüchen. Es beginnt mit einer vagen Anweisung und arbeitet sich schrittweise zu etwas vor, das ein Entwickler tatsächlich ausliefern könnte. Dabei werden genau die Überarbeitungen an System- und Entwicklerebene sichtbar, die der Artikel beschreibt. Sehen Sie sich das Video an, bevor Sie die Checkliste des Artikels zu Beispielen, Ausgabestruktur und Ablehnungsverhalten erneut lesen.
Fortgeschritten