La plupart des équipes considèrent l’expression « human in the loop » comme rassurante. Elle évoque la sécurité et la responsabilité. Pourtant, elle signifie souvent que personne n’a encore décidé précisément ce que l’intervenant humain doit faire.
Une personne peut approuver une action, vérifier un échantillon, traiter une exception, effectuer un audit a posteriori, améliorer le flux de travail grâce à ses corrections ou assumer la décision métier. Ces schémas sont différents, tout comme leurs coûts, leurs modes de défaillance et leurs besoins en personnel.
Cet article vous donne un modèle de décision pratique pour choisir le bon schéma.
La supervision humaine est un contrôle, pas un élément décoratif. Si la personne chargée de la vérification ne dispose ni d’une autorité claire, ni d’un temps alloué, ni d’une liste de contrôle, ni d’une règle d’arrêt, le flux de travail demeure de fait entièrement automatisé.
Commencez par la conséquence
Ne commencez pas par le modèle. Commencez par les conséquences d’un résultat incorrect.
Posez cinq questions :
- Ce résultat peut-il affecter un client, un salarié, un fournisseur ou une autorité de régulation ?
- Le système peut-il envoyer, publier, supprimer, facturer, rembourser ou modifier un enregistrement ?
- Peut-il exposer des données à caractère personnel, confidentielles, financières, juridiques ou relatives à la santé ?
- Une réponse incorrecte serait-elle difficile à détecter plus tard ?
- Une erreur nuirait-elle à la confiance même si elle est techniquement réversible ?
Plus vous avez de réponses « oui », plus le rôle humain doit être explicite.
Schéma 1 : Une personne approuve chaque action
Utilisez ce schéma lorsque l’action est externe, destructive, financière, juridique, liée aux ressources humaines ou visible par le client.
Exemples :
- envoyer un e-mail à un client,
- publier un article public,
- émettre un remboursement,
- supprimer des enregistrements,
- modifier une clause de contrat,
- formuler une recommandation en matière d’emploi.
Le modèle prépare un brouillon ou une recommandation. Une personne l’approuve, le modifie ou le rejette. L’action finale n’a lieu qu’après l’enregistrement de l’approbation.
Une bonne procédure d’approbation comprend :
- une vue claire des différences ou un aperçu,
- les éléments probants issus des sources utilisées,
- le niveau de confiance du modèle ou les indicateurs de risque, s’ils sont disponibles,
- une option de rejet en un clic,
- la saisie obligatoire d’un motif pour toute dérogation dans les flux à haut risque,
- un journal d’audit indiquant l’auteur de la vérification, l’horodatage et l’action finale.
Il s’agit du schéma le plus coûteux, mais c’est le choix par défaut approprié pour les actions lourdes de conséquences.
Schéma 2 : Une personne vérifie les exceptions
Utilisez ce schéma lorsque la plupart des cas sont ordinaires, mais que certains sont ambigus ou risqués.
Exemples :
- les demandes d’assistance mentionnant une résiliation, des menaces d’ordre juridique, la sécurité ou la facturation,
- l’extraction de données de factures avec un faible niveau de confiance ou des champs manquants,
- la qualification des prospects lorsque la taille de l’entreprise ou l’intention est floue,
- la classification de documents lorsque plusieurs catégories correspondent.
Le flux de travail traite les cas ordinaires et achemine les exceptions vers une file d’attente.
L’acheminement des exceptions exige des règles précises. La seule mention « faible niveau de confiance » est généralement trop vague. Voici de meilleurs déclencheurs :
- champs requis manquants,
- valeurs extraites conflictuelles,
- langue non prise en charge,
- type de document non reconnu,
- sentiment négatif du client au-dessus d’un seuil de risque,
- compte classé dans le segment des grandes entreprises,
- action dépassant un seuil financier ou un volume de données défini,
- les données sources sont obsolètes.
Les files d’attente d’exceptions doivent avoir un responsable et des niveaux de service définis. Si personne ne vérifie la file quotidiennement, le système n’a pas réduit la charge de travail : il l’a dissimulée.
Schéma 3 : Une personne vérifie un échantillon des résultats
Utilisez ce schéma lorsque le flux de travail a peu de conséquences, mais que la dérive de la qualité doit être surveillée.
Exemples :
- résumés internes,
- balisage de contenu,
- extraction des actions à mener à l’issue des réunions,
- enrichissement des champs non sensibles de CRM,
- suggestion de liens vers la base de connaissances.
Le flux de travail s’exécute automatiquement. Une personne vérifie un échantillon : par exemple 5 % des résultats, 20 cas choisis au hasard par semaine ou tous les résultats produits après la modification d’une version du prompt.
L’échantillonnage fonctionne uniquement lorsque les corrections alimentent le système :
- enregistrer ce qui était incorrect,
- classer le type d’erreur,
- mettre à jour le prompt, la recherche d’informations, le schéma ou les règles d’utilisation des outils,
- ajouter des exemples aux jeux d’évaluation,
- suivre le taux d’erreur au fil du temps.
L’échantillonnage est un dispositif d’assurance qualité, pas un contrôle d’approbation avant lancement.
Schéma 4 : Une personne audite a posteriori
Utilisez ce schéma lorsque le flux de travail présente peu de risques, est réversible et traite un volume élevé.
Exemples :
- balisage interne,
- détection de doublons,
- suggestions destinées à la base de connaissances et conservées à l’état de brouillon,
- répartition des traitements entre les modèles en fonction des coûts,
- nettoyage de mise en forme non visible par le client.
Le flux de travail s’exécute automatiquement. Les journaux, les tableaux de bord et les audits périodiques permettent de détecter les problèmes.
Ce schéma est acceptable uniquement si :
- les actions sont réversibles,
- le flux de travail dispose d’un mécanisme d’arrêt d’urgence,
- les journaux sont suffisamment détaillés pour reconstruire les décisions,
- le coût d’une erreur non détectée est faible,
- les utilisateurs savent comment signaler un résultat incorrect.
N’utilisez pas l’audit a posteriori pour les engagements visibles par le client, les données sensibles, les paiements ou les décisions réglementées.
Schéma 5 : Une personne assume la décision
Utilisez ce schéma lorsque l’IA contribue à l’analyse, mais ne doit pas prendre la décision.
Exemples :
- embauche,
- évaluation de la solvabilité ou de l’éligibilité,
- stratégie juridique,
- conseils médicaux,
- niveau de gravité d’un incident de sécurité,
- sélection de fournisseurs,
- décisions d’achat importantes.
Le modèle peut synthétiser les éléments probants, présenter les compromis, générer des questions ou comparer les options. La personne responsable de la décision valide le jugement final.
Le flux de travail doit rendre cela explicite :
- « Analyse générée par l’IA ; ne constitue pas une décision. »
- « Responsable de la décision : nom ou fonction. »
- « Éléments probants examinés : sources. »
- « Limites connues. »
- « Justification finale. »
Cette précision évite une erreur courante : une recommandation formulée avec aisance par le modèle devient la décision par défaut.
Une matrice d’approbation simple
Utilisez-la comme point de départ :
| Conséquence du flux de travail | Schéma humain par défaut |
|---|---|
| Interne, réversible, faible visibilité | Audit a posteriori |
| Interne, répétitif, sensible à la qualité | Vérification par échantillonnage |
| Cas ambigus dans un flux par ailleurs ordinaire | Vérification des exceptions |
| Action visible par le client ou externe | Approuver chaque action |
| Destructrice, financière, juridique, RH, réglementée | Une personne prend la décision finale |
Cette matrice n’a rien d’une règle absolue. Elle oblige à prendre une décision explicite. Si vous choisissez un schéma moins contraignant, consignez-en la raison.
Concevoir l’écran de vérification
Un bon écran de vérification réduit la fatigue de la personne chargée du contrôle.
Affichez :
- ce que le système propose,
- les éléments probants qu’il a utilisés,
- ce qui a changé par rapport à l’état actuel,
- la raison pour laquelle l’élément a été soumis à vérification,
- les actions autorisées,
- les indicateurs de risque,
- la date limite, le cas échéant.
Évitez :
- de déverser le prompt complet,
- de demander aux personnes chargées de la vérification d’inspecter les journaux bruts,
- de cacher les documents sources,
- de proposer uniquement « approuver » et « rejeter » lorsqu’une option « modifier » est nécessaire,
- de forcer ces personnes à rouvrir cinq systèmes pour vérifier un cas.
Si la vérification est lente, les utilisateurs la contourneront. Si elle est ambiguë, ils l’approuveront machinalement.
Définir les règles d’arrêt
Tout flux de travail avec supervision humaine a besoin de règles d’arrêt.
Exemples :
- Plus de 3 % des résultats échantillonnés échouent aux contrôles de la liste.
- Une exposition de données entre plusieurs clients est détectée.
- Plus de cinq exceptions à haut risque restent non examinées pendant 24 heures.
- Une mise à jour du prompt ou du modèle augmente le taux de rejet de 50 %.
- Le flux de travail génère une action externe qui aurait dû nécessiter une approbation.
Une règle d’arrêt doit indiquer qui suspend le flux de travail et ce qui se passe ensuite.
Erreurs courantes
Faire intervenir les humains trop tard. Si la personne chargée de la vérification ne voit que le résultat final soigneusement formulé, elle risque de ne pas repérer des données sources incorrectes. Affichez les éléments probants et les extractions intermédiaires lorsque cela est nécessaire.
Approuver des lots aveuglément. L’approbation par lots est utile, mais uniquement après que les filtres et l’échantillonnage ont démontré l’homogénéité du lot.
Aucune formation des personnes chargées de la vérification. Elles ont besoin d’exemples de cas satisfaisants, incorrects et limites.
Aucune boucle de retour d’information. Si les corrections n’améliorent pas les prompts, la recherche d’informations, les schémas ou les données sources, la vérification devient une tâche manuelle permanente.
Aucune planification de la capacité. Un taux d’exception de 10 % sur 1 000 cas par jour représente 100 tâches humaines. C’est la charge d’une équipe, pas un détail secondaire.
À retenir
La conception avec supervision humaine ne repose pas sur un schéma unique. Elle regroupe des contrôles adaptés aux conséquences possibles.
Utilisez :
- l’approbation pour les actions lourdes de conséquences,
- la vérification des exceptions pour les cas ambigus,
- l’échantillonnage pour détecter la dérive de la qualité,
- l’audit pour les tâches à faible risque et réversibles,
- la responsabilité humaine pour les véritables décisions métier.
Le test pratique est simple : si le modèle se trompe, qui le remarque, qui peut l’arrêter et que fait précisément cette personne ? Si vous ne pouvez pas répondre à ces questions, le flux de travail n’est pas prêt.
