Observabilité des applications LLM — vidéos complémentaires

LangChain

Le cofondateur de LangChain propose une visite guidée d’une trace LLM, d’un projet et d’un jeu de données — coût des tokens, latence, taux d’erreur, agrégation des retours et exploration du span d’une seule étape de récupération. C’est l’équivalent visuel le plus proche de ce que décrit l’article lorsqu’il affirme que « chaque appel est un span » et explique pourquoi les traces structurées sont supérieures aux simples journaux produits par des instructions d’affichage.

Ce que vous en retirerez: Naviguer parmi les traces, les projets et les jeux de données dans LangSmith, puis lire le coût des tokens, la latence, le taux d’erreur et le détail de chaque span.

À voir ou à connaître au préalable: Connaître les bases des appels aux API de LLM ; il n’est pas nécessaire d’utiliser LangChain pour comprendre les concepts de traçage.

Hamel Husain

Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase et Shreya Shankar travaillent sur le traçage, l’analyse des journaux, les LLM utilisés comme juges et le flux d’examen de véritables données de production. Consacrez à cette vidéo la même attention qu’à un long podcast : c’est sur YouTube l’analyse la plus approfondie de la thèse « examinez vos traces » défendue dans l’article.

Ce que vous en retirerez: Relier le traçage, l’évaluation, les retours et l’examen de la production dans une boucle opérationnelle pour les systèmes LLM.

À voir ou à connaître au préalable: Expérience avec les modèles de langage en production — elle suppose que vous avez des traces et des journaux réels à analyser.