9 minutesLangSmith en 10 minutes
Naviguer parmi les traces, les projets et les jeux de données dans LangSmith, puis lire le coût des tokens, la latence, le taux d’erreur et le détail de chaque span.
AvancéIA pour les entreprises
Comment construire des systèmes d'évaluation LLM spécifiques à un domaine : Hamel Husain et Emil Sedgh
AI Engineer. Hamel Husain et le directeur technique de Rechat présentent le système d’évaluation d’un véritable produit d’IA : les raisons de l’échec des évaluations génériques prêtes à l’emploi, une architecture en couches d’assertions, des traces journalisées soumises à une validation humaine, des LLM utilisés comme juges et maintenus en accord avec un expert du domaine, ainsi que la façon dont un système d’évaluation opérationnel rend possibles la curation des données et l’ajustement fin. C’est l’étude de cas en production qui étaye l’argument de l’article : les évaluations sont un dispositif de détection des régressions, pas un classement.
Note d’AI Expert
Cette vidéo a été enregistrée mi-2024 ; certains outils ont évolué, mais pas la conception du système. Considérez-la comme une référence d’architecture, pas comme un guide propre à un fournisseur, et maintenez l’expert du domaine dans la boucle comme le recommande la présentation.
Ce que vous en retirerez
Voir comment une équipe de production superpose assertions, validation humaine et LLM utilisés comme juges pour faire apparaître les régressions avant la publication.
À voir ou à connaître au préalable
Connaissances de base en terminologie d'évaluation LLM et le cadre d'échelle d'évaluation de l'article.
Dernière révision : 15 juil. 2026
À regarder ensuite
Continuez dans le même parcours d’apprentissage avec les prochaines vidéos d’accompagnement sélectionnées.
9 minutes
75 minutesLa formation accélérée ultime à MCP : construire à partir de zéro
Créer un premier serveur MCP et comprendre comment outils, schémas, prompts, ressources et transports s’articulent.
AvancéIA pour les entreprises
19 minutesCréer des agents d'IA plus efficaces
Améliorer la conception des outils afin que les agents sélectionnent l'action correcte avec les bons paramètres.
AvancéIA pour les entreprises
Pour aller plus loin
Des cours externes sélectionnés pour approfondir ce sujet.
Coursera · Emory UniversityGenerative AI in Marketing
Emory University Goizueta Business School faculty
The deeper, university-level counterpart to our beginner HubSpot marketing pick — Emory's business-school treatment goes past 'how to prompt' into training generative models for brand-specific output, the purchase-funnel economics of AI-generated content, and a full module of genuine skepticism about when generative AI is and isn't worth using in marketing.
Avancé~14 hours · self-paced (4 modules)
Coursera · IBMIA générative pour les cadres et dirigeants d'entreprise
IBM AI Academy
Une réponse adaptée à l'ère de l'IA générative aux questions stratégiques des dirigeants. Trois cours courts, sans prérequis technique, expliquent où l'IA générative crée de la valeur, comment la gouverner de façon responsable et comment transformer une vague intention d'« utiliser l'IA » en un cas d'usage concret et défendable. Note de 4,6 sur environ 700 avis. À suivre avant la prochaine décision budgétaire liée à l'IA.
Avancé~10 heures · spécialisation de 3 cours