Lista de verificación para publicar un prompt en producción

Utiliza esta lista antes de modificar un prompt que afecte a clientes, operaciones, datos regulados o registros empresariales.

Metadatos del prompt

• Nombre del prompt:
• Funcionalidad:
• Responsable:
• Persona revisora:
• Versión actual:
• Versión candidata:
• Modelo:
• Fecha de publicación:

Arquitectura

• Las capas de sistema, desarrollador y usuario/contexto están separadas.
• El contenido proporcionado por el usuario está claramente delimitado.
• Los datos dinámicos no se almacenan en el prompt del sistema.
• Las plantillas están versionadas en el control de código fuente o en un servicio de prompts.
• Las trazas de producción sensibles no se incorporan al control de código fuente.

Contrato de salida

• El esquema de salida está definido.
• Existe una vía alternativa para salidas vacías, mal formadas o parciales.
• La aplicación valida la salida antes de actuar.
• Los casos ambiguos o con poca confianza se escalan a una persona.

Seguridad

• Se han revisado los riesgos de inyección de prompts.
• Las llamadas a herramientas están limitadas a las acciones permitidas.
• Las acciones visibles para clientes, financieras, legales, laborales o destructivas requieren aprobación.
• Los secretos y datos personales se ocultan de los registros cuando es necesario.

Evaluaciones

• El conjunto de regresión se ha superado.
• Los casos de seguridad se han superado.
• Los fallos anteriores conocidos siguen corregidos.
• La versión candidata no ha reducido la principal métrica de calidad más allá de la tolerancia.

Observabilidad

• Se registran el nombre y la versión de la plantilla del prompt.
• Se registran el modelo, la latencia, los tokens y el coste.
• Las entradas y salidas se ocultan o muestrean conforme a la política aplicable.
• Se ha asignado a una persona responsable de la revisión posterior a la publicación.

Reversión

• La versión anterior está disponible.
• La reversión puede realizarse sin cambios de código complejos.
• La condición de parada está documentada.
• La persona de guardia o responsable sabe cómo desactivar la funcionalidad.

Decisión

• Aprobado:
• Aprobado por:
• Notas: