Liste de contrôle avant la mise en production d’un prompt

Utilisez cette liste avant de modifier un prompt qui affecte les clients, les opérations, les données réglementées ou les dossiers d’entreprise.

Métadonnées du prompt

• Nom du prompt :
• Fonctionnalité :
• Responsable :
• Évaluateur :
• Version actuelle :
• Version candidate :
• Modèle :
• Date de mise en production :

Architecture

• Les couches système, développeur et utilisateur/contexte sont séparées.
• Le contenu fourni par l’utilisateur est clairement délimité.
• Les données dynamiques ne sont pas stockées dans le prompt système.
• Les modèles de prompts sont versionnés dans un gestionnaire de code source ou un service dédié.
• Les traces de production sensibles ne sont pas enregistrées dans le dépôt de code source.

Contrat de sortie

• Le schéma de sortie est défini.
• Une procédure de repli est prévue pour les sorties vides, mal formées ou incomplètes.
• L’application valide la sortie avant d’agir.
• Les cas ambigus ou associés à un faible niveau de confiance sont transmis à un humain.

Sécurité

• Les risques d’injection de prompt ont été examinés.
• Les appels d’outils sont limités aux actions autorisées.
• Les actions visibles par le client, financières, juridiques, RH ou destructrices nécessitent une approbation.
• Les secrets et les données personnelles sont masqués dans les journaux là où cela est requis.

Évaluations

• Le jeu de tests de régression est réussi.
• Les cas de sécurité sont réussis.
• Les corrections des échecs précédemment connus sont toujours effectives.
• La version candidate ne dégrade pas l’indicateur principal de qualité au-delà de la tolérance.

Observabilité

• Le nom et la version du modèle de prompt sont enregistrés.
• Le modèle, la latence, les tokens et le coût sont enregistrés.
• Les entrées et sorties sont masquées ou échantillonnées conformément à la politique.
• Un responsable de l’examen après mise en production est désigné.

Retour en arrière

• La version précédente est disponible.
• Le retour en arrière ne nécessite aucune modification complexe du code.
• La condition d’arrêt est documentée.
• La personne d’astreinte ou le responsable sait désactiver la fonctionnalité.

Décision

• Approuvé :
• Approuvé par :
• Notes :