Utvärdering, observerbarhet och kvalitet
Mät AI-beteende, upptäck regressioner, spåra kostnad och latens och förbättra arbetsflöden löpande.
8 innehållsposter (3 artiklar · 5 videor)
Börja här
Börja med några rekommenderade innehållsposter innan du går igenom hela flödet.
10 min läsningUtvärderingar för icke-utvecklare: ta reda på om ditt AI-arbetsflöde blir bättre eller sämre
En praktisk introduktion till att utvärdera ett AI-arbetsflöde med representativa exempel, uttryckliga bedömningskriterier, kvalificerade etiketter, lanseringsregler och ett kalkylblad när det räcker.
Mellannivå
12 min läsningObserverbarhet för LLM-appar: spårning, kostnader, svarstid och kvalitetsdrift
Utöka vanlig observerbarhet med flerstegsspår, hänförbar kostnad, prompt- och modellversioner, utvärderade kvalitetssignaler, integritetskontroller och aviseringar som härleds från arbetsbelastningen.
AvanceradMer i detta ämne
69 minuterAgentlandskapet – lärdomar från att driftsätta agenter i produktion
MLOps.community. Prosus AI-chef och en AI-utvecklare berättar vad som faktiskt gick sönder när de driftsatte agenter i koncernens portföljbolag: penetrationstestning av promptinjektion före lansering, en osäker skrivning när en Jira-agent inte kunde tolka mänsklig kortnotation, inaktuell kontext som hanterades genom att agenterna fick redovisa sina antaganden samt reservlösningar som slog samman eller stängde av agenter när dessa började öka den kognitiva belastningen. Det är som att se artikelns register över fellägen spelas upp som en direktsänd incidentanalys.
Avancerad
10 min läsningFellägen för AI i produktion: det som går sönder efter demon
Bygg ett fellägesregister för hallucinationer, inaktuell kontext, promptinjektion, osäker verktygsanvändning, schemadrift, bristfällig felhantering och luckor i observerbarheten.
Avancerad
107 minuterDärför är AI-utvärderingar den hetaste nya färdigheten för produktutvecklare | Hamel Husain och Shreya Shankar
Lenny's Podcast. Samtalet med Husain och Shankar kompletterar artikelns krav på en ansvarig och en granskningsfrekvens som följer förändringar, incidenter och observerade fel. Bedöm tidsåtgången för ditt eget arbetsflöde.
Mellannivå
3 minuterUtvärdera prompter i Anthropic Console
Anthropic. En tre minuter lång genomgång från Anthropic av hur man kör en verklig utvärdering i Workbench – genererar automatiskt realistiska testfall, betygsätter resultat, finjusterar prompten och kör samma testsvit på nytt sida vid sida. Antalet visningar ligger under den vanliga gränsen, men för frågan ”hur gör jag faktiskt det här utan att skriva kod?” är det den tydligaste officiella demonstrationen och passar väl under det mer strategiska samtalet med Husain och Shankar.
Mellannivå
9 minuterLangSmith på 10 minuter
LangChain. En av LangChains medgrundare ger en guidad rundtur i ett LLM-spår, ett projekt och en datamängd – tokenkostnad, latens, felfrekvens, aggregering av återkoppling och fördjupning i ett enskilt spann för ett hämtningssteg. Det är den närmaste visuella motsvarigheten till det artikeln beskriver med ”varje anrop är ett spann” och varför strukturerade spår är bättre än loggning med utskrifter.
Avancerad
154 minuterInstrumentering och utvärdering av LLM:er
Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase och Shreya Shankar arbetar med spårning, logganalys, LLM som bedömare och arbetsflödet för att granska verkliga produktionsdata. Ge den samma uppmärksamhet som en lång podd. Det är den bästa enskilda djupgående genomgången på YouTube av artikelns tes ”titta på dina spår”.
Avancerad