« Mettez mon raisonnement à l’épreuve » semble être un bon prompt.
Il produit souvent un résultat médiocre : trois réserves polies, un compliment sur la rigueur de votre raisonnement et la même recommandation qu’au départ.
Le problème est structurel. Le modèle a déjà vu votre cadrage, votre réponse préférée et, souvent, l’argument que vous voulez lui faire critiquer. Lui demander d’« être critique » ne supprime pas ces signaux.
Pour obtenir une contradiction utile, il faut modifier les informations auxquelles le modèle a accès et l’ordre dans lequel il les reçoit.
Les cinq structures ci-dessous permettent de le faire concrètement. Aucune ne transforme un chatbot en expert indépendant. Chacune rend une défaillance plus facile à repérer.
Structure 1 : masquer la préférence
Les indices de préférence invitent à l’accord. Retirez-les.
Prompt faible :
Je veux faire passer mon équipe de l'outil A à l'outil B.
Aidez-moi à mettre le plan à l'épreuve.
Le modèle sait quelle conclusion serait socialement utile.
Prompt plus fort :
Une équipe de dix personnes compare deux options.
Option A
- [current facts]
- [costs]
- [constraints]
Option B
- [current facts]
- [costs]
- [constraints]
Ne recommandez pas d'option.
Pour chacune, identifiez :
1. la raison la plus solide pour laquelle elle pourrait échouer,
2. la preuve manquante qui compte le plus,
3. la condition sous laquelle elle devient la meilleure option.
N’écrivez pas « notre système actuel » ni « le remplacement moderne ». Même de petites étiquettes portent un verdict.
Quand cela aide
- choix de fournisseurs ;
- recruter ou externaliser ;
- développer en interne ou acheter ;
- conserver versus remplacer un processus ;
- ou tout choix pour lequel vous avez déjà une option préférée.
Ce que cela ne résout pas
Vous avez sélectionné les faits. Une comparaison aveugle peut encore être biaisée par ce que vous avez omis.
Structure 2 : séparer la défense et la critique
Une seule réponse tend au compromis : un argument, une réserve, une conclusion équilibrée.
Procédez à des analyses séparées, avec des objectifs incompatibles.
Analyse A :
Présentez les arguments les plus solides, fondés sur des preuves, en faveur de l’option A.
Ne discutez pas de l'option B.
Énoncez chaque hypothèse et identifiez où les preuves manquent.
Analyse B, dans une nouvelle conversation :
Présentez les arguments les plus solides, fondés sur des preuves, en faveur de l’option B.
Ne discutez pas de l'option A.
Énoncez chaque hypothèse et identifiez où les preuves manquent.
Analyse C :
Comparez ces deux arguments.
Ne récompensez ni l'éloquence ni la longueur.
Listez :
- les affirmations soutenues par les faits fournis,
- les affirmations nécessitant une vérification externe,
- les hypothèses qui entrent en conflit,
- et une expérience qui réduirait la plus grande incertitude.
[paste both arguments]
Des conversations séparées réduisent l’ancrage conversationnel. Elles ne créent pas une véritable indépendance, car les analyses peuvent encore reproduire des schémas issus d’un entraînement similaire, mais elles empêchent le second rôle de se contenter de réagir à la formulation du premier.
Structure 3 : exiger des preuves avant l’argumentation
Si vous demandez d’abord une argumentation persuasive, le modèle peut générer des affirmations qui vont dans ce sens, puis chercher ensuite des éléments à l’appui.
Inversez l’ordre :
Avant de former une opinion, créez un tableau de preuves.
Pour chaque critère de décision, enregistrez :
- les faits fournis,
- les sources primaires nécessaires,
- les estimations et leurs hypothèses,
- les points inconnus,
- et les preuves qui invalideraient chaque option.
Ne recommandez rien tant que je n'ai pas vérifié et renvoyé le tableau de preuves.
Après vérification, fournissez uniquement le tableau corrigé et demandez l’analyse.
C’est plus lent que de demander une recommandation instantanée. C’est un avantage lorsque la réponse compte.
Une règle d’arrêt utile
Si la plus grande incertitude peut inverser la décision, ne demandez pas de recommandation finale. Concevez un test, collectez une mesure, ou consultez la personne qui détient l’information manquante.
Structure 4 : confier un angle précis à un relecteur critique
« Jouez l’avocat du diable » est une consigne vague. Donnez au relecteur un type de défaillance concret à rechercher.
Exemples :
Examinez ce plan uniquement sous l’angle des risques opérationnels.
Supposez que la stratégie est raisonnable.
Repérez les lacunes dans l’attribution des responsabilités, la surveillance, la procédure de retour en arrière ou la maintenance.
Examinez cette proposition uniquement du point de vue de l'employé affecté.
Identifiez quels bénéfices revendiqués sont des bénéfices pour la direction plutôt que pour l'employé.
Signalez les promesses que l'entreprise ne peut ni vérifier ni tenir.
Examinez ce flux de données uniquement sous l'angle des risques pour la confidentialité.
Listez chaque classe de données, destination, point de conservation et chaque personne qui y a accès.
Ne fournissez pas de conclusions juridiques.
Un examen critique ciblé est plus utile qu’une agressivité théâtrale. « Soyez brutalement honnête » change le ton ; un périmètre d’examen bien défini change la couverture.
Menez plusieurs examens ciblés lorsque les enjeux le justifient. Gardez leurs constats séparés jusqu’à ce que vous déterminiez quels risques sont réels.
Structure 5 : utiliser une seconde analyse indépendante
Soumettez le même exposé neutre à :
- une nouvelle conversation sans historique ;
- une seconde famille de modèles ;
- ou un relecteur humain qui n’a pas vu la réponse préférée.
Puis comparez les désaccords :
Deux relecteurs ont analysé la même décision.
Relecteur 1 :
[paste]
Relecteur 2 :
[paste]
Créez un registre de désaccords :
- enjeu,
- affirmation de chaque relecteur,
- preuves sur lesquelles chacun s'appuie,
- preuves manquantes,
- et le responsable qui peut trancher.
Ne choisissez pas de gagnant sur la base de la confiance ou de la qualité d'écriture.
L’accord entre deux modèles n’est pas une confirmation. Les modèles peuvent partager des sources, des conventions et des angles morts. Le résultat utile est le registre de désaccords et les preuves qu’il vous invite à collecter.
Exemple travaillé : automatiser le traitement des factures
Supposez que le plan initial soit :
Nous devrions utiliser un agent d’IA pour lire les factures fournisseurs, les saisir dans le logiciel comptable et les transmettre pour paiement.
Un prompt de contestation générique peut renvoyer des réserves prévisibles sur l’exactitude et la supervision humaine.
Utilisez plutôt les cinq structures.
1. Neutraliser les options
- Option A : garder la saisie manuelle et améliorer la liste de contrôle.
- Option B : utiliser une extraction déterministe avec un contrôle humain.
- Option C : utiliser un agent qui extrait, saisit et achemine.
- Option D : retarder le projet et commencer par standardiser les formats des fournisseurs.
2. Défendre chaque option séparément
Chaque option obtient son dossier le plus solide et des hypothèses explicites.
3. Construire le tableau de preuves
Collectez :
- volume mensuel de factures ;
- temps de traitement actuel ;
- taux de correction ;
- pourcentage de formats standards ;
- valeur et fréquence des factures en double ou frauduleuses ;
- autorisations d’intégration ;
- et qui prend en charge les exceptions.
4. Mener des examens critiques ciblés
- contrôle financier ;
- reprise après incident ;
- confidentialité des données fournisseurs ;
- et organisation du travail des employés.
5. Comparer des analyses indépendantes
Un relecteur peut se concentrer sur les économies de main-d’œuvre. Un autre peut remarquer que le processus actuel manque d’un rapprochement fiable avec les bons de commande, rendant l’automatisation prématurée.
Le meilleur résultat peut ne pas être un dossier plus solide pour ou contre l’IA. Ce peut être une mesure de deux semaines qui rend la décision évidente.
Trois façons dont le désaccord devient faux
Le modèle invente des objections
Tout contre-argument n’est pas plausible. Exigez que l’objection identifie l’hypothèse ou la preuve qu’elle conteste.
Le modèle optimise pour la symétrie
Certains choix ne sont pas équilibrés. Une option peut reposer sur des preuves bien plus solides. N’exigez pas un nombre égal d’arguments pour et contre ; exigez que les points déterminants soient traités.
Le modèle devient systématiquement contrariant
Un prompt peut amener le modèle à s’opposer à tout. Une réponse contestataire reste un contenu généré. Elle exige la même vérification qu’une réponse complaisante.
La recherche a documenté la complaisance chez les assistants d’IA et montré comment les signaux de préférence peuvent influencer les réponses des modèles (recherche d’Anthropic sur la complaisance). La défense n’est pas une phrase magique. C’est un processus qui réduit les indices de préférence et rend les preuves visibles.
Une séquence de désaccord prête à copier
Utilisez ceci pour une décision importante :
Phase 1 : cadrage
Reformulez le problème de trois façons sensiblement différentes.
Ne le résolvez pas.
Phase 2 : preuves
Séparez faits fournis, faits vérifiables, estimations, inférences et valeurs.
Listez les preuves qui pourraient inverser la décision.
Phase 3 : argumentations
Construisez le dossier le plus solide pour chaque option séparément.
Énoncez les hypothèses et les conditions d'échec.
Phase 4 : examen
Lancez des examens ciblés sur les opérations, les personnes affectées, la sécurité et la confidentialité, ainsi que le coût.
Phase 5 : aide à la décision
Créez un registre de désaccords et proposez le plus petit test en conditions réelles.
Ne prenez pas la décision finale.
Pour comprendre les défaillances qui motivent cette séquence, lisez les quatre défaillances de l’IA comme partenaire de réflexion. Pour la méthode plus large, consultez mieux décider avec l’IA.
La limite honnête
Vous pouvez faire produire un désaccord à une IA. Vous ne pouvez pas lui faire savoir que vous avez tort.
Le modèle peut générer la même hypothèse défectueuse sous un autre angle. Il peut citer une source obsolète. Il peut sembler indépendant parce que vous avez changé l’étiquette de rôle.
Traitez le désaccord comme un outil de recherche : il fait émerger des hypothèses, des parties prenantes manquantes et des preuves à collecter. Le jugement final appartient encore à la personne qui comprend le contexte et accepte les conséquences.
