9 MinutenLangSmith in 10 Minuten
Traces, Projekte und Datensätze in LangSmith navigieren sowie Tokenkosten, Latenz, Fehlerrate und Details einzelner Spans ablesen können.
FortgeschrittenKI für Unternehmen
LLM-Evaluierungen systematisch einrichten (Metriken, Unit-Tests, LLM-as-a-Judge)
Dave Ebbelaar. Ein praktizierender KI-Entwickler stellt seine tatsächlich verwendete Eval-Stufenfolge vor: assertionsbasierte Unit-Tests, referenzfreie Metriken, die Abstimmung von LLM-as-a-Judge mit menschlichen Bewertungen und den Zyklus aus Analysieren, Messen und Verbessern. Diese Struktur entspricht am ehesten dem Argument des Artikels, dass Evals ein System zum Erkennen von Regressionen sind und keine Rangliste.
Hinweis von AI Expert
Einzelne Werkzeuge werden veralten, die Stufenfolge bleibt jedoch tragfähig: zuerst deterministische Prüfungen, anschließend modellbasierte Bewertungen, die gegen menschliche Urteile validiert werden. Überspringen Sie die Kalibrierung nicht, nur weil sich ein LLM-Bewerter leicht ergänzen lässt.
Was Sie aus diesem Video mitnehmen sollten
Eine Eval-Stufenfolge entwerfen, die Regressionen erkennt, bevor Änderungen an Prompts oder Modellen die Nutzer erreichen.
Das sollten Sie zuerst ansehen oder wissen
Erfahrung mit dem Betrieb oder der Wartung eines KI-Workflows, für den konkrete Fehlerbeispiele bekannt sind.
Zuletzt geprüft: 18. Mai 2026
Nächste Videos ansehen
Fahren Sie mit demselben Lernpfad fort und sehen Sie die nächsten kuratierten Begleitvideos.
9 Minuten
75 MinutenDer ultimative MCP-Crashkurs – von Grund auf entwickeln
Einen ersten MCP-Server entwickeln und verstehen, wie Werkzeuge, Schemata, Prompts, Ressourcen und Transporte zusammenspielen.
FortgeschrittenKI für Unternehmen
19 MinutenEffektivere KI-Agenten entwickeln
Werkzeuge so gestalten, dass Agenten die richtige Aktion mit den richtigen Parametern auswählen.
FortgeschrittenKI für Unternehmen
Thema vertiefen
Sorgfältig ausgewählte externe Kurse, die dieses Thema vertiefen.
Coursera · Emory UniversityGenerative AI in Marketing
Emory University Goizueta Business School faculty
The deeper, university-level counterpart to our beginner HubSpot marketing pick — Emory's business-school treatment goes past 'how to prompt' into training generative models for brand-specific output, the purchase-funnel economics of AI-generated content, and a full module of genuine skepticism about when generative AI is and isn't worth using in marketing.
Fortgeschritten~14 hours · self-paced (4 modules)
Coursera · IBMGenerative KI für Führungskräfte und die Geschäftsleitung
IBM AI Academy
Die Antwort der GenAI-Ära auf strategische Fragen der Geschäftsleitung. Drei kurze Kurse, die sich gezielt an Führungskräfte richten – ohne technische Vorkenntnisse vorauszusetzen. Sie zeigen, wo generative KI Wert schafft, wie sie verantwortungsvoll gesteuert wird und wie aus einem vagen „Wir sollten KI einsetzen“ ein konkreter, belastbarer Anwendungsfall entsteht. Bewertung: 4,6 bei rund 700 Rezensionen. Am besten vor Ihrer nächsten KI-Budgetentscheidung absolvieren.
Fortgeschritten~10 Stunden · 3-Kurs-Spezialisierung