Ämne

Utvärdering, observerbarhet och kvalitet

Mät AI-beteende, upptäck regressioner, spåra kostnad och latens och förbättra arbetsflöden löpande.

8 innehållsposter (3 artiklar · 5 videor)

Börja här

Börja med några rekommenderade innehållsposter innan du går igenom hela flödet.

Mer i detta ämne

69 minuter
Video

Agentlandskapet – lärdomar från att driftsätta agenter i produktion

MLOps.community. Prosus AI-chef och en AI-utvecklare berättar vad som faktiskt gick sönder när de driftsatte agenter i koncernens portföljbolag: penetrationstestning av promptinjektion före lansering, en osäker skrivning när en Jira-agent inte kunde tolka mänsklig kortnotation, inaktuell kontext som hanterades genom att agenterna fick redovisa sina antaganden samt reservlösningar som slog samman eller stängde av agenter när dessa började öka den kognitiva belastningen. Det är som att se artikelns register över fellägen spelas upp som en direktsänd incidentanalys.

Avancerad
10 min läsning
Artikel

Fellägen för AI i produktion: det som går sönder efter demon

Bygg ett fellägesregister för hallucinationer, inaktuell kontext, promptinjektion, osäker verktygsanvändning, schemadrift, bristfällig felhantering och luckor i observerbarheten.

Avancerad
107 minuter
Video

Därför är AI-utvärderingar den hetaste nya färdigheten för produktutvecklare | Hamel Husain och Shreya Shankar

Lenny's Podcast. Samtalet med Husain och Shankar kompletterar artikelns krav på en ansvarig och en granskningsfrekvens som följer förändringar, incidenter och observerade fel. Bedöm tidsåtgången för ditt eget arbetsflöde.

Mellannivå
3 minuter
Video

Utvärdera prompter i Anthropic Console

Anthropic. En tre minuter lång genomgång från Anthropic av hur man kör en verklig utvärdering i Workbench – genererar automatiskt realistiska testfall, betygsätter resultat, finjusterar prompten och kör samma testsvit på nytt sida vid sida. Antalet visningar ligger under den vanliga gränsen, men för frågan ”hur gör jag faktiskt det här utan att skriva kod?” är det den tydligaste officiella demonstrationen och passar väl under det mer strategiska samtalet med Husain och Shankar.

Mellannivå
9 minuter
Video

LangSmith på 10 minuter

LangChain. En av LangChains medgrundare ger en guidad rundtur i ett LLM-spår, ett projekt och en datamängd – tokenkostnad, latens, felfrekvens, aggregering av återkoppling och fördjupning i ett enskilt spann för ett hämtningssteg. Det är den närmaste visuella motsvarigheten till det artikeln beskriver med ”varje anrop är ett spann” och varför strukturerade spår är bättre än loggning med utskrifter.

Avancerad
154 minuter
Video

Instrumentering och utvärdering av LLM:er

Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase och Shreya Shankar arbetar med spårning, logganalys, LLM som bedömare och arbetsflödet för att granska verkliga produktionsdata. Ge den samma uppmärksamhet som en lång podd. Det är den bästa enskilda djupgående genomgången på YouTube av artikelns tes ”titta på dina spår”.

Avancerad