Kompletterande videor

Observerbarhet för LLM-appar: spårning, kostnader, latens och kvalitetsdrift – kompletterande videor

Utbudet om LLM-observerbarhet på YouTube är verkligen tunt – det mesta består av leverantörsdemonstrationer och de flesta praktiker som skriver om ämnet har liten publik. Vi har valt den tydligaste produktgenomgången och det längsta rundabordssamtalet med praktiker, så att du kan se samma spårningsbegrepp både som ett gränssnitt du faktiskt skulle klicka runt i och som ett system erfarna ingenjörer diskuterar.

Förstahandsval

9:21

LangSmith på 10 minuter

LangChain

En av LangChains medgrundare ger en guidad rundtur i ett LLM-spår, ett projekt och en datamängd – tokenkostnad, latens, felfrekvens, aggregering av återkoppling och fördjupning i ett enskilt spann för ett hämtningssteg. Det är den närmaste visuella motsvarigheten till det artikeln beskriver med ”varje anrop är ett spann” och varför strukturerade spår är bättre än loggning med utskrifter.

Vad du bör få ut av detta: Du kan navigera bland spår, projekt och datamängder i LangSmith och läsa av tokenkostnad, latens, felfrekvens och detaljer per spann.

Titta på eller ha koll på först: Grundläggande kännedom om LLM-API-anrop. Du behöver inte använda LangChain för att följa spårningsbegreppen.

Anteckning från AI Expert: Det är en leverantörsgenomgång – se den för begreppen spår, projekt och datamängd snarare än för produktargumenten. Idén att ”varje anrop är ett spann” kan överföras till alla spårningsstackar.

Öppna videosidan

Värt att titta på

2:33:51

Instrumentering och utvärdering av LLM:er

Hamel Husain

Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase och Shreya Shankar arbetar med spårning, logganalys, LLM som bedömare och arbetsflödet för att granska verkliga produktionsdata. Ge den samma uppmärksamhet som en lång podd – det är YouTubes bästa enskilda djupbehandling av artikelns tes ”titta på dina spår”.

Vad du bör få ut av detta: Koppla samman spårning, utvärdering, återkoppling och produktionsgranskning till en operativ krets för LLM-system.

Titta på eller ha koll på först: Erfarenhet av LLM:er i produktion – den förutsätter att du har verkliga spår och loggar som är värda att analysera.

Anteckning från AI Expert: Två och en halv timme med mycket få visningar, avsiktligt behållen: det finns ingen jämförbar djupgående behandling av spårningsstyrd utvärdering, så lyssna på den som en lång podd.

Öppna videosidan