Pourquoi les évaluations d’IA sont la nouvelle compétence incontournable des concepteurs de produits | Hamel Husain et Shreya Shankar

Lenny's Podcast. Hamel Husain et Shreya Shankar parcourent l’intégralité du flux de travail d’évaluation sur un véritable assistant d’IA de gestion locative — examen des traces, codage ouvert et axial des erreurs, décision du moment où s’arrêter, création d’un LLM utilisé comme juge et validation par rapport au jugement humain. Ce rare entretien approfondi s’adresse réellement aux chefs de produit et aux responsables d’équipe, plutôt qu’aux ingénieurs en apprentissage automatique. Il reprend le rythme recommandé dans l’article : « 30 minutes par semaine après la configuration ».

À regarder ensuite

Continuez dans le même parcours d’apprentissage avec les prochaines vidéos d’accompagnement sélectionnées.

211 minutes

Plongée au cœur des LLM comme ChatGPT

Comprendre suffisamment bien la pile LLM moderne pour analyser les tokens, l’entraînement, les outils et les défaillances.

AvancéChatGPT & LLMs

18 minutes

Pydantic est tout ce dont vous avez besoin : Jason Liu

Comprendre pourquoi les appels de LLM fondés sur des schémas exigent des objets typés, des validateurs, des nouvelles tentatives et un traitement explicite des champs mal formés ou hallucinés.

AvancéIA pour les entreprises

77 minutes

Ingénierie de prompts en IA : une plongée approfondie

Comprendre comment les spécialistes des prompts de production révisent les instructions, les exemples et les contraintes comportementales sous une pression réelle, au lieu de traiter les prompts comme du texte jetable.

AvancéIngénierie des prompts