Utvärderingar för icke-utvecklare: ta reda på om ditt AI-arbetsflöde blir bättre eller sämre – kompletterande videor

Lenny's Podcast

Hamel Husain och Shreya Shankar går igenom hela arbetsflödet för utvärderingar med en verklig AI-assistent för fastighetsförvaltning – granskar spårningar, kodar fel öppet och axialt, avgör när de ska sluta, bygger en LLM som bedömare och validerar den mot mänsklig bedömning. Det här är ett av få längre samtal som verkligen riktar sig till produktchefer och teamledare snarare än ML-utvecklare, och det tar upp samma rytm på ”30 minuter i veckan efter konfigureringen” som artikeln rekommenderar.

Vad du bör få ut av detta: Lär dig utvärderingsloopen för produktutvecklare: granska spårningar, märk fel, definiera kriterier, testa ändringar och jämför med mänsklig bedömning.

Titta på eller ha koll på först: Ha minst ett AI-arbetsflöde där kvaliteten kan bli bättre eller sämre med tiden.

Anthropic

En tre minuter lång genomgång från Anthropic av hur man kör en verklig utvärdering i Workbench – genererar automatiskt realistiska testfall, betygsätter resultat, finjusterar prompten och kör samma testsvit på nytt sida vid sida. Antalet visningar ligger under den vanliga gränsen, men för frågan ”hur gör jag faktiskt det här utan att skriva kod?” är det den tydligaste officiella demonstrationen och passar väl under det mer strategiska samtalet med Husain och Shankar.

Vad du bör få ut av detta: Se den minsta kodfria versionen av en repeterbar promptutvärdering.

Titta på eller ha koll på först: Grundläggande erfarenhet av att redigera prompter och åtkomst till en utvärderingsyta, exempelvis en konsol eller workbench.