Tilhørende videoer

Observabilitet for LLM-applikationer — ledsagende videoer

LLM-observerbarhed er ægte tynd på YouTube — det meste, der er der, er vendor-demoer, og de fleste praktikere, der skriver om det, har små publikummer. Vi valgte den klareste produktgennemgang og det længste praktiker-roundtable, så du kan se de samme trace-koncepter både som en UI, du faktisk ville klikke rundt i, og som et system, erfarne ingeniører diskuterer.

Primært valg

9:21

LangSmith på 10 minutter

LangChain

En guidet tour af en LLM-trace, project og dataset af LangChains medstifter — token-omkostning, latenstid, fejlrate, feedback-aggregering, drill-down i et enkelt retrieval-step-span. Det er den nærmeste visuelle analog til det, artiklen beskriver, når den taler om "hvert kald er et span", og hvorfor strukturerede traces slår print-logging.

Hvad du bør få ud af dette: Du kan navigere traces, projects og datasets i LangSmith og aflæse token-omkostning, latenstid, fejlrate og per-span-detalje.

Forudsætninger: Grundlæggende fortrolighed med LLM-API-kald; du behøver ikke at være LangChain-bruger for at følge trace-koncepterne.

Bemærkning fra AI Expert: Det er en vendor-gennemgang — se den for trace-, project- og dataset-koncepterne snarere end produktpitch; idéen "hvert kald er et span" overføres til enhver tracing-stack.

Åbn videoside

Også værd at se

2:33:51

Instrumentering og evaluering af LLM'er

Hamel Husain

Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase og Shreya Shankar arbejder sig igennem tracing, loganalyse, LLM-as-judge og arbejdsgangen omkring at se på rigtige produktionsdata. Sid med den på samme måde, som du ville med en lang podcast — det er den bedste dybe behandling af artiklens tese "se på dine traces" på YouTube.

Hvad du bør få ud af dette: Forbind tracing, evaluering, feedback og produktionsgennemgang til en driftsløkke for LLM-systemer.

Forudsætninger: Produktions-LLM-erfaring — den antager, at du har rigtige traces og logs, der er værd at analysere.

Bemærkning fra AI Expert: To en halv time med tiny visningstal, beholdt med vilje: der er ingen sammenlignelig lang behandling af trace-drevet evaluering, så sid med den som en lang podcast.

Åbn videoside