Lista de verificación de seguridad para LLM

Utiliza esta lista antes de publicar una funcionalidad basada en un LLM que lea contenido no fiable, recupere datos privados o invoque herramientas.

1. Límites del flujo de trabajo

Se ha designado a la persona responsable del flujo.
Las acciones permitidas del flujo están documentadas.
Se han identificado las acciones externas, destructivas, financieras, legales, laborales o visibles para clientes.
Existe un procedimiento documentado para desactivar rápidamente el flujo.
El flujo dispone de un procedimiento de reversión o una alternativa manual.

La entrada directa del usuario se trata como no fiable.
Los documentos recuperados se tratan como datos no fiables, no como instrucciones.
Los resultados de las herramientas se tratan como no fiables, salvo que se generen dentro del límite de confianza.
Los PDF, imágenes, audios, hojas de cálculo y transcripciones cargados se tratan como no fiables.
Las páginas web y las observaciones de agentes de navegación se tratan como no fiables.
Los prompts editables por administradores, plantillas de flujos, contenidos del CMS y fuentes de conocimiento se revisan antes de utilizarlos en producción.

Nunca se envían al modelo secretos, credenciales, tokens sin procesar ni URL privadas.
La recuperación filtra por organización, usuario, función y permisos de la fuente antes de ordenar los resultados.
Los fragmentos recuperados conservan el ID de fuente, ID de organización, visibilidad, responsable, versión y marca de tiempo de revisión.
La ruta de respuesta puede citar o registrar los ID de las fuentes utilizadas.
Las fuentes obsoletas, no revisadas o poco fiables se excluyen o señalan.
Los registros ocultan los datos personales y las credenciales.

Las instrucciones de sistema y desarrollador se versionan y revisan como código.
El contenido no fiable está delimitado y etiquetado como datos.
El modelo recibe instrucciones sobre cómo actuar cuando el contenido no fiable contradice las instrucciones de la tarea.
El modelo recibe únicamente el contexto mínimo necesario.
Los flujos de alto riesgo utilizan un paso de extracción acotado antes de que el agente principal acceda al contenido.
Las frases señuelo del prompt se utilizan solo para detectar ataques, no como defensa principal.

Las herramientas tienen un alcance limitado y específico para la tarea.
Las herramientas obtienen el usuario, la organización y la función del contexto de autenticación del servidor, no de los argumentos del modelo.
Cada herramienta valida sus argumentos mediante un esquema y reglas de negocio.
Cada herramienta aplica la autorización de forma independiente del modelo.
Las herramientas de escritura son idempotentes cuando es posible.
Los efectos externos requieren aprobación humana o comprobaciones deterministas de políticas.
Se han configurado límites de frecuencia, cuotas y costes.
Las llamadas a herramientas se registran junto con el usuario, organización, flujo, versión del prompt, modelo, resumen de argumentos y resultado.

La salida del modelo se procesa con un esquema estricto antes de utilizarla.
Los campos desconocidos se rechazan cuando el contrato debe ser cerrado.
Las URL, el contenido Markdown y HTML, los nombres de archivo y los bloques de código se sanean cuando corresponde.
Las salidas no pueden incluir clases de datos ajenas al alcance permitido de la tarea.
Las respuestas factuales basadas en fuentes privadas requieren ID o fragmentos de las fuentes.
Una salida mal formada provoca un fallo seguro, en lugar de recurrir a texto libre.

Prueba de inyección directa: la entrada del usuario pide al modelo que ignore las instrucciones.
Prueba de inyección indirecta: el contenido recuperado pide al modelo que revele datos o invoque una herramienta.
Prueba entre organizaciones: una solicitud intenta acceder a datos de otra organización.
Prueba de llamada insegura: el modelo solicita una acción no disponible o no permitida.
Prueba de salida mal formada: se rechazan campos adicionales o valores de enumeración no válidos.
Prueba de exfiltración: la salida intenta incluir secretos, datos privados o el texto del prompt.
Prueba de persistencia: el contenido almacenado incluye instrucciones maliciosas que se recuperan posteriormente.
Prueba multimodal, si procede: las instrucciones visibles mediante OCR o en imágenes se tratan como no fiables.

Los intentos de extraer el prompt pueden detectarse.
Los fallos repetidos del validador generan alertas.
Se generan alertas ante una amplitud de recuperación, volumen de llamadas, número de destinatarios externos, coste o frecuencia inusuales.
Los intentos de inyección de prompts pueden vincularse al usuario, organización, flujo, ID de fuentes y llamadas a herramientas.
El equipo sabe cómo desactivar el flujo o herramientas concretas.
El equipo sabe cómo revocar claves del proveedor y rotar las credenciales afectadas.
Existe una persona responsable de las decisiones de notificación a clientes, equipos jurídicos y de seguridad y organismos reguladores.

No declares el flujo listo para producción hasta que:

Todas las acciones con consecuencias importantes disponen de un control.
Se ha superado al menos una prueba con un documento adversario.
Al menos un intento de acceso no autorizado ha fallado de forma segura.
Al menos un intento de llamada insegura a una herramienta ha fallado de forma segura.
Al menos una prueba de salida mal formada ha provocado un fallo seguro.
Se ha probado al menos un procedimiento para desactivar el flujo.