Begleitvideos

Observability für LLM-Apps: Begleitvideos

Fundierte Inhalte zu LLM-Observability sind auf YouTube tatsächlich rar. Die meisten verfügbaren Videos sind Produktdemos von Anbietern, und viele Fachleute, die darüber schreiben, erreichen nur ein kleines Publikum. Wir haben die klarste Produktführung und die ausführlichste Gesprächsrunde mit Praktikern ausgewählt. So sehen Sie dieselben Tracing-Konzepte sowohl in einer Benutzeroberfläche, die Sie selbst bedienen würden, als auch als Systementwurf, über den erfahrene Entwickler kritisch diskutieren.

Hauptauswahl

9:21

LangSmith in 10 Minuten

LangChain

Der Mitgründer von LangChain führt durch einen LLM-Trace, ein Projekt und einen Datensatz. Er zeigt Tokenkosten, Latenz, Fehlerrate, aggregiertes Feedback und die Detailansicht eines einzelnen Spans für einen Retrieval-Schritt. Das Video veranschaulicht am besten, was der Artikel mit „Jeder Aufruf ist ein Span“ meint und weshalb strukturierte Traces einfachen Print-Logs überlegen sind.

Was Sie aus diesem Video mitnehmen sollten: Traces, Projekte und Datensätze in LangSmith navigieren sowie Tokenkosten, Latenz, Fehlerrate und Details einzelner Spans ablesen können.

Das sollten Sie zuerst ansehen oder wissen: Grundlegende Vertrautheit mit LLM-API-Aufrufen; Sie müssen LangChain nicht verwenden, um den Tracing-Konzepten folgen zu können.

Hinweis von AI Expert: Dies ist eine Produktführung. Konzentrieren Sie sich auf die Konzepte Trace, Projekt und Datensatz statt auf das Verkaufsargument. Das Prinzip „Jeder Aufruf ist ein Span“ lässt sich auf jeden Tracing-Stack übertragen.

Videoseite öffnen

Auch sehenswert

2:33:51

LLMs instrumentieren und evaluieren

Hamel Husain

Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase und Shreya Shankar behandeln Tracing, Protokollanalyse, LLM-as-a-Judge und den Arbeitsablauf zur Untersuchung realer Produktionsdaten. Hören Sie die Sitzung wie einen langen Podcast. Sie ist die beste ausführliche Darstellung der Kernaussage „Sehen Sie sich Ihre Traces an“, die wir auf YouTube gefunden haben.

Was Sie aus diesem Video mitnehmen sollten: Tracing, Evaluation, Feedback und Produktionsprüfung zu einem Betriebszyklus für LLM-Systeme verbinden.

Das sollten Sie zuerst ansehen oder wissen: Erfahrung mit LLMs im Produktivbetrieb; die Sitzung setzt voraus, dass Sie reale Traces und Protokolle besitzen, deren Analyse sich lohnt.

Hinweis von AI Expert: Zweieinhalb Stunden und geringe Aufrufzahlen, bewusst beibehalten. Es gibt keine vergleichbare ausführliche Darstellung tracegestützter Evaluation. Hören Sie die Sitzung daher wie einen langen Podcast.

Videoseite öffnen