Thema

LLM-Anwendungen im Produktivbetrieb

Konzipieren, veröffentlichen, überwachen und betreiben Sie LLM-Anwendungen über die Demophase hinaus.

17 Beiträge (12 Artikel · 5 Videos)

Hier beginnen

Einige gute Beiträge für den Einstieg, bevor Sie die vollständige Übersicht durchsuchen.

Weitere in diesem Thema

8 Min. Lesezeit
Artikel

Hermes oder n8n: passend zur Aufgabe wählen und bei Bedarf kombinieren

Eine Entscheidungshilfe für Hermes Agent und n8n: Deterministische Abläufe bleiben in n8n, während ein per Bearer-Token authentifizierter Hermes-API-Schritt oder ein separater Ereignis-Webhook klar begrenzte Agentenaufgaben übernimmt.

Mittelstufe
10 Min. Lesezeit
Artikel

Experimenteller Stack aus zwei DGX Sparks, DeepSeek-V4-Flash, n8n und Hermes

So bewerten Sie einen experimentellen Community-Pfad für DeepSeek-V4-Flash auf zwei DGX-Spark-Systemen, mit n8n für die deterministische Automatisierung und Hermes für Urteilsaufgaben.

Fortgeschritten
69 Minuten
Video

Die Agentenlandschaft – Erkenntnisse aus dem Produktiveinsatz von Agenten

MLOps.community. Der VP of AI von Prosus und ein KI-Entwickler berichten, was beim Einsatz von Agenten in den Portfoliounternehmen der Gruppe tatsächlich schiefging: Penetrationstests auf Prompt-Injection vor dem Start, ein unsicherer Schreibvorgang, als ein Jira-Agent an menschlichen Abkürzungen scheiterte, Offenlegung von Annahmen bei veraltetem Kontext und Rückfallmechanismen, die Agenten zusammenführten oder abschalteten, sobald diese zusätzliche kognitive Last verursachten. Der Vortrag wirkt wie das Fehlermodusregister des Artikels als Live-Postmortem.

Fortgeschritten
12 Min. Lesezeit
Artikel

Inferenzkosten optimieren: Prompt-Caching, Routing und Ausgabe-Steuerung

Erstellen Sie anhand von Traces ein Kostenmodell für die Inferenz, optimieren Sie die größten gemessenen Kostenfaktoren und belegen Sie, dass jede Änderung die Aufgabenqualität erhält.

Fortgeschritten
13 Min. Lesezeit
Artikel

Fine-Tuning 2026: ein evidenzgeleitetes LoRA- und QLoRA-Experiment

Prüfen Sie, ob parametereffizientes Fine-Tuning gerechtfertigt ist, verwalten Sie die Daten, legen Sie ein reproduzierbares Experiment fest, vergleichen Sie Ergebnisse mit zurückgehaltenen Daten und Sicherheitstests und benchmarken Sie den Serving-Betrieb vor dem Deployment.

Fortgeschritten
12 Min. Lesezeit
Artikel

MCP-Tools so entwerfen, dass LLMs sie zuverlässig verwenden

Die meisten MCP-Tools, die wir sehen, sind technisch korrekt, aber praktisch unbrauchbar. LLMs ignorieren sie, verwenden sie falsch oder rufen sie auf ungeeignete Weise auf. Diese Designprinzipien sorgen dafür, dass LLMs Tools zuverlässig einsetzen – mit konkreten Fehlerbildern und Korrekturen.

Fortgeschritten
12 Min. Lesezeit
Artikel

Gedächtnis für lang laufende Agenten entwickeln

Lang laufende Agenten benötigen ein eigenes Persistenzkonzept: Herkunft, Bestätigung, Mandantenisolierung, Abruftests, Aufbewahrungsdauer, Korrektur und nachweisbare Löschung.

Fortgeschritten
10 Min. Lesezeit
Artikel

Orchestrierung mehrerer Modelle: Routing nach Kosten, Latenz und Qualität

Das Routing unterschiedlicher Aufgaben an verschiedene Modelle kann Kosten oder Latenz verringern. Ob sich die zusätzliche Komplexität auszahlt, zeigt jedoch nur eine Evaluierung anhand der konkreten Arbeitslast. Ein Überblick über Muster, Messgrößen und Fehlermodi.

Mittelstufe
12 Min. Lesezeit
Artikel

Observability für LLM-Apps: Tracing, Kosten, Latenz und Qualitätsdrift

Erweitern Sie die übliche Observability um mehrstufige Traces, zurechenbare Kosten, Prompt- und Modellversionen, evaluierte Qualitätssignale, Datenschutzkontrollen und aus der jeweiligen Aufgabe abgeleitete Warnmeldungen.

Fortgeschritten
14 Min. Lesezeit
Artikel

Prompt Injection und LLM-Sicherheit: Bedrohungsmodelle und mehrschichtige Abwehr

Prompt Injection ist eine dauerhafte Klasse von LLM-Sicherheitsrisiken und kein Fehler beim Formulieren von Prompts. Ein Praxisleitfaden zu Bedrohungsmodellen, Datengrenzen, Werkzeugberechtigungen, Regressionstests, Überwachung und Reaktion auf Sicherheitsvorfälle.

Fortgeschritten
12 Min. Lesezeit
Artikel

Prompting, RAG oder Fine-Tuning wählen — und wann Sie sie kombinieren sollten

Prompting, RAG und Fine-Tuning sind die drei großen Hebel, um große Sprachmodelle an Ihr Problem anzupassen. Jeder eignet sich für bestimmte Probleme und für andere nicht. Ein Entscheidungsrahmen, die realistischen Kosten jedes Ansatzes und erfolgreiche Kombinationsmuster für den Produktivbetrieb.

Fortgeschritten
9 Minuten
Video

LangSmith in 10 Minuten

LangChain. Der Mitgründer von LangChain führt durch einen LLM-Trace, ein Projekt und einen Datensatz. Er zeigt Tokenkosten, Latenz, Fehlerrate, aggregiertes Feedback und die Detailansicht eines einzelnen Spans für einen Retrieval-Schritt. Das Video veranschaulicht am besten, was der Artikel mit „Jeder Aufruf ist ein Span“ meint und weshalb strukturierte Traces einfachen Print-Logs überlegen sind.

Fortgeschritten
154 Minuten
Video

LLMs instrumentieren und evaluieren

Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase und Shreya Shankar behandeln Tracing, Protokollanalyse, LLM-as-a-Judge und den Arbeitsablauf zur Untersuchung realer Produktionsdaten. Hören Sie die Sitzung wie einen langen Podcast. Sie ist die beste ausführliche Darstellung der Kernaussage „Sehen Sie sich Ihre Traces an“, die wir auf YouTube gefunden haben.

Fortgeschritten
77 Minuten
Video

KI-Prompt-Engineering: ein Tiefeneinblick

Anthropic. Vier Prompt-Engineering-Fachleute von Anthropic aus Forschung, Alignment, angewandter KI und Developer Relations sprechen ausführlich über ihren Arbeitsalltag: wie sie Prompts unter Zeitdruck überarbeiten, was „Ehrlichkeit“ in Anweisungen bedeutet und wann XML-Gerüste helfen oder stören. Das Ebenenmodell des Artikels deckt sich unmittelbar mit ihrer Beschreibung der Arbeit. Hier lässt sich dieses Denkmodell am besten aus erster Hand hören.

Fortgeschritten
25 Minuten
Video

Prompting 101 | Programmieren mit Claude

Anthropic. Das Applied-AI-Team von Anthropic entwickelt in einer Live-Sitzung einen Prompt für die Bearbeitung von Versicherungsansprüchen. Es beginnt mit einer vagen Anweisung und arbeitet sich schrittweise zu etwas vor, das ein Entwickler tatsächlich ausliefern könnte. Dabei werden genau die Überarbeitungen an System- und Entwicklerebene sichtbar, die der Artikel beschreibt. Sehen Sie sich das Video an, bevor Sie die Checkliste des Artikels zu Beispielen, Ausgabestruktur und Ablehnungsverhalten erneut lesen.

Fortgeschritten