Emne

Evalueringer, observerbarhed og kvalitet

Mål AI-systemers adfærd, opdag regressioner, følg omkostninger og latenstid, og forbedr arbejdsgangene løbende.

8 historier (3 artikler · 5 videoer)

Start her

Et par gode steder at begynde, før du går på opdagelse i hele oversigten.

Flere i dette emne

69 minutter
Video

Agentlandskabet – erfaringer fra at sætte agenter i produktion

MLOps.community. Prosus' VP of AI og en AI-ingeniør rapporterer, hvad der faktisk brød, da de deployede agenter på tværs af gruppens porteføljevirksomheder: promptinjektion-pentest før launch, en usikker write, da en Jira-agent fejlede på menneskelig stenografi, forældet kontekst håndteret ved at få agenter til at synliggøre deres antagelser, og fallback-design, der merged eller dræbte agenter, når de tilføjede cognitive load. Det læser som artiklens fejltilstandsregister genafspillet som en live postmortem.

Avanceret
10 min læsning
Artikel

Fejltilstande i AI-produktion: det, der går i stykker efter demoen

AI-systemer fejler som regel på forudsigelige måder: hallucinationer, forældet kontekst, medløberi, prompt injection, usikker værktøjsbrug, skemadrift og svage fallbacks. Et register over fejltilstande til teams, der sætter reelle workflows i produktion.

Avanceret
107 minutter
Video

How to evaluate AI products | Hamel Husain & Shreya Shankar (Lenny's Podcast)

Lenny's Podcast. Samtalen med Husain og Shankar supplerer artiklens krav om en ansvarlig for kontrollen og en frekvens tilpasset ændringer, hændelser og observerede fejl. Vurdér tidsbehovet for din egen arbejdsgang.

Let øvet
3 minutter
Video

Evaluér prompts i Anthropic Console

Anthropic. En tre minutters Anthropic-gennemgang af at køre en rigtig eval inde i Workbench — auto-generering af realistiske testcases, bedømmelse af outputs, justering af prompten og genkørsel af samme suite side om side. Visningstallet ligger under den sædvanlige grænse, men til "hvordan gør jeg faktisk dette uden at skrive kode" er dette den klareste officielle demo og slotter pænt ind under den mere strategiske Husain/Shankar-samtale.

Let øvet
9 minutter
Video

LangSmith på 10 minutter

LangChain. En guidet tour af en LLM-trace, project og dataset af LangChains medstifter — token-omkostning, latenstid, fejlrate, feedback-aggregering, drill-down i et enkelt retrieval-step-span. Det er den nærmeste visuelle analog til det, artiklen beskriver, når den taler om "hvert kald er et span", og hvorfor strukturerede traces slår print-logging.

Avanceret
154 minutter
Video

Instrumentering og evaluering af LLM'er

Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase og Shreya Shankar arbejder sig igennem tracing, loganalyse, LLM-as-judge og arbejdsgangen omkring at se på rigtige produktionsdata. Sid med den på samme måde, som du ville med en lang podcast — det er den bedste dybe behandling af artiklens tese "se på dine traces" på YouTube.

Avanceret