Registro de modos de fallo de la IA en producción
Utiliza este registro antes de poner en marcha un flujo de trabajo o agente de IA.
Registro
| Modo de fallo | Ejemplo | Control | Prueba | Métrica | Responsable | Condición de parada |
|---|---|---|---|---|---|---|
| Resultado falso pero plausible | Afirmación factual sin respaldo | Fuentes/referencias + revisión | Caso conocido de respuesta falsa | Tasa de afirmaciones sin respaldo | ||
| Contexto obsoleto | Se devuelve una política antigua | Metadatos de actualidad | Consulta sobre políticas antigua/nueva | Tasa de respuestas con fuentes obsoletas | ||
| Inyección de prompts | El contenido recuperado contiene instrucciones | Límite de confianza + restricciones de herramientas | Caso de prueba de inyección | Tasa de éxito de la inyección | ||
| Uso inseguro de herramientas | Actualización del registro de CRM equivocado | Validación de argumentos + aprobación | Caso de contacto incorrecto | Tasa de acciones incorrectas | ||
| Desviación del esquema | JSON no válido | Validación de la salida | Caso de salida mal formada | Tasa de fallos de validación | ||
| Alternativa deficiente | Fallo silencioso | Cola para revisión humana + mensaje al usuario | Caso de herramienta no disponible | Tasa de finalización por la vía alternativa |
Controles mínimos
- Control de versiones de prompts y plantillas.
- Identificadores de fuentes o referencias.
- Validación de la salida.
- Validación de los argumentos de las herramientas.
- Aprobación humana para escrituras de alto impacto.
- Vía alternativa.
- Registros con ocultación de datos sensibles.
- Mecanismo de parada de emergencia.
Decisión de puesta en marcha
- Modo de fallo de mayor riesgo:
- Pruebas bloqueantes:
- Responsable:
- Fecha de la primera revisión:
- Procedimiento de reversión: