Registre des modes de défaillance des workflows d’IA en production
Utilisez ce registre avant de lancer un workflow ou un agent d’IA.
Registre
| Mode de défaillance | Exemple | Contrôle | Test | Indicateur | Responsable | Condition d’arrêt |
|---|---|---|---|---|---|---|
| Réponse fausse mais plausible | Affirmation factuelle non étayée | Sources ou citations + examen | Cas connu de réponse fausse | Taux d’affirmations non étayées | ||
| Contexte périmé | Ancienne politique restituée | Métadonnées d’actualisation | Requête portant sur l’ancienne et la nouvelle politique | Taux de réponses fondées sur une source périmée | ||
| Injection de prompt | Le contenu récupéré contient des instructions | Périmètre de confiance + restrictions des outils | Cas de test d’injection | Taux de réussite de l’injection | ||
| Utilisation dangereuse d’un outil | Mise à jour du mauvais dossier CRM | Validation des arguments + approbation | Cas du mauvais contact | Taux d’actions erronées | ||
| Dérive de schéma | JSON invalide | Validation de sortie | Cas de sortie mal formée | Taux d’échec de validation | ||
| Repli insuffisant | Échec silencieux | File de traitement humain + message à l’utilisateur | Cas de panne d’un outil | Taux de traitement par la voie de repli |
Contrôles minimums
- Gestion des versions des prompts et modèles.
- Identifiants de sources ou citations.
- Validation de sortie.
- Validation des arguments d’outil.
- Approbation humaine des écritures à fort impact.
- Procédure de repli.
- Journalisation avec masquage.
- Interrupteur de sécurité.
Décision de mise en service
- Mode de défaillance à risque le plus élevé :
- Tests bloquants :
- Responsable :
- Date du premier examen :
- Procédure de retour en arrière :