Thema

Evals, Observability und Qualität

Messen Sie das Verhalten von KI, erkennen Sie Regressionen, verfolgen Sie Kosten und Latenz und verbessern Sie Workflows kontinuierlich.

8 Beiträge (3 Artikel · 5 Videos)

Hier beginnen

Einige gute Beiträge für den Einstieg, bevor Sie die vollständige Übersicht durchsuchen.

Weitere in diesem Thema

69 Minuten
Video

Die Agentenlandschaft – Erkenntnisse aus dem Produktiveinsatz von Agenten

MLOps.community. Der VP of AI von Prosus und ein KI-Entwickler berichten, was beim Einsatz von Agenten in den Portfoliounternehmen der Gruppe tatsächlich schiefging: Penetrationstests auf Prompt-Injection vor dem Start, ein unsicherer Schreibvorgang, als ein Jira-Agent an menschlichen Abkürzungen scheiterte, Offenlegung von Annahmen bei veraltetem Kontext und Rückfallmechanismen, die Agenten zusammenführten oder abschalteten, sobald diese zusätzliche kognitive Last verursachten. Der Vortrag wirkt wie das Fehlermodusregister des Artikels als Live-Postmortem.

Fortgeschritten
10 Min. Lesezeit
Artikel

Fehlermodi produktiver KI-Systeme: Was nach der Demo schiefgehen kann

KI-Systeme scheitern auf vorhersehbare Weise: durch Halluzinationen, veralteten Kontext, übermäßige Zustimmung, Prompt Injection, unsichere Werkzeugnutzung, Schemadrift und schwache Fallbacks. Ein Fehlermodusregister für Teams, die reale Workflows bereitstellen.

Fortgeschritten
107 Minuten
Video

Warum KI-Evals die gefragteste neue Fähigkeit für Produktentwickler sind | Hamel Husain & Shreya Shankar

Lenny's Podcast. Das Gespräch mit Husain und Shankar ergänzt die Forderung des Artikels nach einer verantworteten Prüffrequenz, die sich an Änderungen, Vorfällen und beobachteten Fehlern orientiert. Ermitteln Sie den Prüfaufwand für Ihren eigenen Workflow.

Mittelstufe
3 Minuten
Video

Prompts in der Anthropic Console bewerten

Anthropic. Eine dreiminütige Anthropic-Anleitung für eine reale Evaluierung in der Workbench — realistische Testfälle automatisch erzeugen, Ausgaben bewerten, den Prompt anpassen und dieselbe Testsuite anschließend nebeneinander erneut ausführen. Die Aufrufzahl liegt unter der üblichen Schwelle. Für die Frage „Wie setze ich das ohne Programmierung praktisch um?“ ist dies jedoch die klarste offizielle Demonstration und eine gute Ergänzung zum strategischeren Gespräch mit Husain und Shankar.

Mittelstufe
9 Minuten
Video

LangSmith in 10 Minuten

LangChain. Der Mitgründer von LangChain führt durch einen LLM-Trace, ein Projekt und einen Datensatz. Er zeigt Tokenkosten, Latenz, Fehlerrate, aggregiertes Feedback und die Detailansicht eines einzelnen Spans für einen Retrieval-Schritt. Das Video veranschaulicht am besten, was der Artikel mit „Jeder Aufruf ist ein Span“ meint und weshalb strukturierte Traces einfachen Print-Logs überlegen sind.

Fortgeschritten
154 Minuten
Video

LLMs instrumentieren und evaluieren

Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase und Shreya Shankar behandeln Tracing, Protokollanalyse, LLM-as-a-Judge und den Arbeitsablauf zur Untersuchung realer Produktionsdaten. Hören Sie die Sitzung wie einen langen Podcast. Sie ist die beste ausführliche Darstellung der Kernaussage „Sehen Sie sich Ihre Traces an“, die wir auf YouTube gefunden haben.

Fortgeschritten