Evalueringer, observerbarhed og kvalitet
Mål AI-systemers adfærd, opdag regressioner, følg omkostninger og latenstid, og forbedr arbejdsgangene løbende.
8 historier (3 artikler · 5 videoer)
Start her
Et par gode steder at begynde, før du går på opdagelse i hele oversigten.
10 min læsningEvalueringer for ikke-ingeniører: Se, om jeres AI-arbejdsgang bliver bedre eller dårligere
Evalueringer — systematisk måling af kvaliteten i AI-output — behandles normalt som et teknisk anliggende. Men alle teams med AI-arbejdsgange har brug for dem, og grundprincipperne kræver ingen kode. Sådan gør I.
Let øvet
12 min læsningObserverbarhed i LLM-applikationer: sporing, omkostninger, svartid og kvalitetsændringer
Udvid almindelig observerbarhed med flertrinsspor, henførbare omkostninger, prompt- og modelversioner, evaluerede kvalitetssignaler, databeskyttelseskontroller og advarsler baseret på arbejdsbelastningen.
AvanceretFlere i dette emne
69 minutterAgentlandskabet – erfaringer fra at sætte agenter i produktion
MLOps.community. Prosus' VP of AI og en AI-ingeniør rapporterer, hvad der faktisk brød, da de deployede agenter på tværs af gruppens porteføljevirksomheder: promptinjektion-pentest før launch, en usikker write, da en Jira-agent fejlede på menneskelig stenografi, forældet kontekst håndteret ved at få agenter til at synliggøre deres antagelser, og fallback-design, der merged eller dræbte agenter, når de tilføjede cognitive load. Det læser som artiklens fejltilstandsregister genafspillet som en live postmortem.
Avanceret
10 min læsningFejltilstande i AI-produktion: det, der går i stykker efter demoen
AI-systemer fejler som regel på forudsigelige måder: hallucinationer, forældet kontekst, medløberi, prompt injection, usikker værktøjsbrug, skemadrift og svage fallbacks. Et register over fejltilstande til teams, der sætter reelle workflows i produktion.
Avanceret
107 minutterHow to evaluate AI products | Hamel Husain & Shreya Shankar (Lenny's Podcast)
Lenny's Podcast. Samtalen med Husain og Shankar supplerer artiklens krav om en ansvarlig for kontrollen og en frekvens tilpasset ændringer, hændelser og observerede fejl. Vurdér tidsbehovet for din egen arbejdsgang.
Let øvet
3 minutterEvaluér prompts i Anthropic Console
Anthropic. En tre minutters Anthropic-gennemgang af at køre en rigtig eval inde i Workbench — auto-generering af realistiske testcases, bedømmelse af outputs, justering af prompten og genkørsel af samme suite side om side. Visningstallet ligger under den sædvanlige grænse, men til "hvordan gør jeg faktisk dette uden at skrive kode" er dette den klareste officielle demo og slotter pænt ind under den mere strategiske Husain/Shankar-samtale.
Let øvet
9 minutterLangSmith på 10 minutter
LangChain. En guidet tour af en LLM-trace, project og dataset af LangChains medstifter — token-omkostning, latenstid, fejlrate, feedback-aggregering, drill-down i et enkelt retrieval-step-span. Det er den nærmeste visuelle analog til det, artiklen beskriver, når den taler om "hvert kald er et span", og hvorfor strukturerede traces slår print-logging.
Avanceret
154 minutterInstrumentering og evaluering af LLM'er
Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase og Shreya Shankar arbejder sig igennem tracing, loganalyse, LLM-as-judge og arbejdsgangen omkring at se på rigtige produktionsdata. Sid med den på samme måde, som du ville med en lang podcast — det er den bedste dybe behandling af artiklens tese "se på dine traces" på YouTube.
Avanceret