Évaluations, observabilité et qualité
Mesurez le comportement de l’IA, détectez les régressions, suivez les coûts et la latence, et améliorez continuellement les flux de travail.
8 contenus (3 articles · 5 vidéos)
Commencez ici
Quelques bons contenus pour débuter avant de parcourir l’ensemble du flux.
10 min de lectureÉvaluations pour les non-ingénieurs : savoir si votre flux de travail d’IA s’améliore ou se dégrade
Les évaluations — la mesure systématique de la qualité des productions de l’IA — sont généralement considérées comme un sujet réservé à l’ingénierie. Pourtant, toute équipe qui utilise des flux de travail d’IA en a besoin, et leurs principes fondamentaux sont accessibles sans écrire de code.
Intermédiaire
12 min de lectureObservabilité des applications LLM : traçage, coûts, latence et dérive de la qualité
Étendez l’observabilité standard par des traces multi-étapes, un coût attribuable, les versions de prompt et de modèle, des signaux de qualité évalués, des contrôles de confidentialité et des alertes dérivées de la charge.
AvancéPlus de contenus sur ce thème
69 minutesLe paysage des agents – enseignements tirés de leur mise en production
MLOps.community. Le vice-président chargé de l'IA chez Prosus et un ingénieur en IA expliquent ce qui a réellement échoué lors du déploiement d'agents dans les entreprises du portefeuille du groupe : tests d'intrusion ciblant l'injection de prompt avant le lancement, écriture dangereuse lorsqu'un agent Jira a mal interprété une abréviation humaine, contexte périmé compensé en obligeant les agents à expliciter leurs hypothèses, et mécanismes de repli consistant à fusionner ou supprimer des agents devenus une source de charge cognitive. C'est presque le registre des défaillances de l'article rejoué sous la forme d'un retour d'incident en direct.
Avancé
10 min de lectureModes de défaillance de l'IA en production : ce qui échoue après la démonstration
Les systèmes d'IA échouent généralement de manière prévisible : hallucinations, contexte obsolète, complaisance, injection de consignes, usage non sûr des outils, dérive de schéma et mécanismes de repli insuffisants. Voici un registre des modes de défaillance pour les équipes qui mettent de véritables processus en production.
Avancé
107 minutesPourquoi les évaluations d’IA sont la nouvelle compétence incontournable des concepteurs de produits | Hamel Husain et Shreya Shankar
Lenny's Podcast. La discussion avec Husain et Shankar complète l’exigence de l’article : désigner un responsable et adapter la fréquence des vérifications aux changements, incidents et échecs observés. Évaluez le temps de vérification pour votre propre processus.
Intermédiaire
3 minutesÉvaluer des prompts dans la console Anthropic
Anthropic. Cette présentation de trois minutes par Anthropic montre une véritable évaluation dans le Workbench — génération automatique de cas de test réalistes, notation des résultats, ajustement du prompt et nouvelle exécution de la même suite pour une comparaison côte à côte. Le nombre de vues reste sous notre seuil habituel, mais, pour répondre à la question « comment faire concrètement sans écrire de code ? », c’est la démonstration officielle la plus claire. Elle complète parfaitement l’entretien plus stratégique de Husain et Shankar.
Intermédiaire
9 minutesLangSmith en 10 minutes
LangChain. Le cofondateur de LangChain propose une visite guidée d’une trace LLM, d’un projet et d’un jeu de données — coût des tokens, latence, taux d’erreur, agrégation des retours et exploration du span d’une seule étape de récupération. C’est l’équivalent visuel le plus proche de ce que décrit l’article lorsqu’il affirme que « chaque appel est un span » et explique pourquoi les traces structurées sont supérieures aux simples journaux produits par des instructions d’affichage.
Avancé
154 minutesInstrumentation et évaluation des LLM
Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase et Shreya Shankar travaillent sur le traçage, l’analyse des journaux, les LLM utilisés comme juges et le flux d’examen de véritables données de production. Consacrez à cette vidéo la même attention qu’à un long podcast : c’est sur YouTube l’analyse la plus approfondie de la thèse « examinez vos traces » défendue dans l’article.
Avancé