9 minuterLangSmith på 10 minuter
Du kan navigera bland spår, projekt och datamängder i LangSmith och läsa av tokenkostnad, latens, felfrekvens och detaljer per spann.
AvanceradAI för företag
Så bygger du domänspecifika system för LLM-utvärdering: Hamel Husain och Emil Sedgh
AI Engineer. Hamel Husain och Rechats CTO går igenom utvärderingssystemet bakom en verklig AI-produkt: varför generiska standardutvärderingar misslyckas, en skiktad uppsättning assertioner och loggade spår med mänsklig granskning, LLM-bedömare som hålls i linje med en domänexpert samt hur ett fungerande utvärderingssystem möjliggör datakuratering och finjustering. Det är fallstudien från produktion för artikelns argument att utvärderingar är maskiner för att upptäcka regressioner, inte en topplista.
Anteckning från AI Expert
Inspelad i mitten av 2024. De specifika verktygen har utvecklats, men det har inte systemdesignen. Behandla den som en arkitekturreferens, inte som en leverantörsguide, och behåll domänexperten i processen så som föredraget insisterar på.
Vad du bör få ut av detta
Se hur ett produktionsteam kombinerar assertioner, mänsklig granskning och LLM-bedömare i lager så att regressioner upptäcks före lansering.
Titta på eller ha koll på först
Du bör vara bekväm med grundläggande terminologi för LLM-utvärdering och artikelns modell med en utvärderingsstege.
Senast granskad: 15 juli 2026
Se nästa
Fortsätt längs samma lärstig med nästa kurerade kompletterande video.
9 minuter
75 minuterDen ultimata snabbkursen i MCP – bygg från grunden
Bygg en första MCP-server och förstå hur verktyg, scheman, prompter, resurser och transporter hänger ihop.
AvanceradAI för företag
19 minuterBygg effektivare AI-agenter
Förbättra verktygsdesignen så att agenter väljer rätt åtgärd med rätt parametrar.
AvanceradAI för företag
Gå vidare
Externa kurser som är handplockade och går djupare in i detta ämne.
Coursera · Emory UniversityGenerative AI in Marketing
Emory University Goizueta Business School faculty
The deeper, university-level counterpart to our beginner HubSpot marketing pick — Emory's business-school treatment goes past 'how to prompt' into training generative models for brand-specific output, the purchase-funnel economics of AI-generated content, and a full module of genuine skepticism about when generative AI is and isn't worth using in marketing.
Avancerad~14 hours · self-paced (4 modules)
Coursera · IBMGenerative AI for Executives and Business Leaders
IBM AI Academy
Svaret på ledningens strategiska frågor i den generativa AI-eran. Tre korta kurser direkt riktade till företagsledare – inga tekniska förkunskaper krävs – om var generativ AI skapar värde, hur den styrs ansvarsfullt och hur ett vagt ”vi borde använda AI” omvandlas till ett konkret användningsfall som går att försvara. Betyget är 4,6 baserat på ~700 omdömen. Gå den helst före nästa beslut om AI-budgeten.
Avancerad~10 timmar · specialisering med 3 kurser