107 minutterHow to evaluate AI products | Hamel Husain & Shreya Shankar (Lenny's Podcast)
Lær produktbyggerens eval-sløjfe: inspicér traces, label fejl, definér kriterier, test ændringer, og sammenlign med menneskelig vurdering.
Matthew Berman. Videoen gennemgår LMSYS' RouteLLM-artikel og kode. En lille klassifikator placeres foran et par af stærke og svage modeller og vælger, hvilken model der skal kaldes. I den viste evaluering nås omtrent 95% af den stærke models kvalitet til en brøkdel af omkostningen. Visningstallet ligger under den sædvanlige grænse på 100k, men videoen viser konkret modelrouting frem for blot at sammenligne modeller og passer derfor direkte til artiklens afvejning mellem kvalitet og omkostninger.
Modelnavne, priser og egenskaber ændrer sig hurtigt. Brug videoen til at forstå beslutningsmønstret, og kontrollér derefter den aktuelle modeladfærd, før det tages i brug.
Evaluér afvejningerne mellem kvalitet, omkostninger og pålidelighed ved modelrouting, før du tilføjer kompleks orkestrering.
Fortrolig med at læse Python og kalde model-API'er; det primære valgs niveaukort hjælper.
Senest gennemgået: 13. aug. 2026
Fortsæt ad den samme læringsvej med de næste kuraterede videoer.
107 minutterLær produktbyggerens eval-sløjfe: inspicér traces, label fejl, definér kriterier, test ændringer, og sammenlign med menneskelig vurdering.
211 minutterForstå den moderne LLM-stack godt nok til at ræsonnere om tokens, træning, værktøjer og fejl.
18 minutterLær, hvorfor schema-first LLM-kald behøver typede objekter, validators, retries og eksplicit håndtering af malformerede eller hallucinerede felter.
Håndplukkede eksterne kurser, der går i dybden med dette emne.
Anthropic Academy
MCP er protokollen, der stille og roligt erstatter specialbyggede enkeltintegrationer på tværs af AI-værktøjsøkosystemet. Lær den direkte fra ophavet. Ved kursets afslutning har du bygget og sat din egen MCP-server i drift, forbundet en LLM-klient til den og forstået, hvorfor standarden er det tætteste, branchen kommer på USB-C.
João Moura (Founder, CrewAI)
Doubles as our sales and customer-support vertical pick and a genuinely practical agent-building course: you build an agentic sales pipeline (lead scoring, personalized outreach) and a customer-support data-insights pipeline as two of the five hands-on projects, taught by CrewAI's own founder. Requires basic Python, so it sits with our other builder-track courses rather than the no-code picks.
Hugging Face
Den tydeligste tilgængelige open source-gennemgang af agentiske systemer. Kurset tager udgangspunkt i de tre frameworks, som udviklere faktisk vurderer — smolagents, LlamaIndex og LangGraph — frem for én leverandørs stack. Det afsluttes med en benchmarkopgave og en offentlig rangliste, så dit team kan kontrollere resultaterne.