Observabilidad para aplicaciones con LLM: trazas, costes, latencia y deriva de calidad
Avanzado12 min de lecturaIA para empresas

Observabilidad para aplicaciones con LLM: trazas, costes, latencia y deriva de calidad

Amplía la observabilidad habitual con trazas multietapa, costes atribuibles, versiones de prompt y modelo, señales de calidad evaluada, controles de privacidad y alertas derivadas de la carga de trabajo.

Lo que deberías poder hacer

Mantén la telemetría habitual del servicio y añade contexto de modelo, prompt, recuperación, herramienta, coste y calidad evaluada. Captura prompts o salidas en bruto solo cuando esté justificado, con controles de acceso, minimización, conservación y eliminación.

Guardado solo en este navegador.
En este artículo

Las aplicaciones con LLM conservan los modos de fallo habituales del software y añaden salidas probabilísticas, deriva del modelo y de los prompts, comportamiento de las herramientas, calidad de la recuperación y costes que dependen del uso. Algunos fallos producen trazas de pila; otros solo aparecen en salidas evaluadas, informes de usuarios o cambios en las distribuciones.

La observabilidad tradicional (Datadog, New Relic, Sentry) te indica que la llamada a la API se realizó correctamente en 8,4 segundos y utilizó 12.847 tokens de entrada. No te dice si la respuesta fue buena, si el modelo alucinó, si se llamó a la herramienta incorrecta o si la calidad ha derivado desde la semana pasada.

Los sistemas con LLM en producción necesitan datos semánticos adicionales, además de las trazas, métricas y registros habituales. Comienza con las convenciones semánticas para IA generativa de OpenTelemetry y amplíalas solo cuando tu producto necesite más detalle. Este artículo define una estructura de evento ilustrativa; AIExpert no ha publicado una traza ni un panel de control en producción que demuestre todos los campos que se enumeran a continuación.

¿Qué diferencia a la observabilidad de los LLM?

Algunas características propias de los sistemas con LLM que la observabilidad tradicional no aborda:

No determinismo a nivel de unidad. La misma entrada produce salidas diferentes en llamadas distintas. «¿Ha funcionado bien?» no se puede responder verificando códigos de estado.

La calidad como métrica principal. La latencia y el coste importan, pero la calidad es lo más importante —y también lo más difícil de medir—.

Trazas multietapa. Una consulta del usuario puede desencadenar múltiples llamadas al modelo, a la recuperación y a las herramientas. Cada operación pertenece a una traza mayor.

Coste dependiente del uso. El coste varía según el modelo, los recuentos de tokens, el almacenamiento en caché, las herramientas y los cargos específicos del proveedor. Atribuye el uso facturado real a nivel de llamada o lote, en lugar de asumir un rango universal por llamada.

Deriva con el tiempo. Los modelos se actualizan. Los prompts evolucionan. Las distribuciones de entrada cambian. La calidad se mueve; necesitas ver ese movimiento.

Cargas sensibles. Las entradas y salidas suelen ser los datos diagnósticos más valiosos, pero también los más sensibles. La disciplina en el registro es crucial.

Flujos asíncronos largos. Ejecuciones de agentes que duran minutos. Trabajos por lotes en segundo plano. Respuestas en streaming. La observabilidad tradicional de solicitud/respuesta no se adapta bien aquí.

Estos son los modos de fallo que la instrumentación debe estar diseñada para revelar; cuáles de ellos dominan debe establecerse a partir de tu propio tráfico.

El stack de observabilidad

Un diseño práctico de observabilidad de LLM puede incluir estas capas, seleccionadas según la carga de trabajo y el riesgo:

1. Instrumentación a nivel de llamada. Cada llamada al LLM emite metadatos operativos aprobados como latencia, uso facturado, modelo/revisión y estado. La entrada o salida en bruto solo se captura cuando está justificada y controlada por separado.

2. Instrumentación a nivel de traza. Los flujos multillamada se unen en trazas. Puedes ver la cadena completa de llamadas para una solicitud del usuario.

3. Métricas a nivel de aplicación. Agregaciones por función, por usuario y por inquilino (tenant).

4. Monitorización de calidad. Evaluación automática muestreada o completa de la calidad.

5. Captura de retroalimentación del usuario. Señales explícitas (pulgar arriba/abajo) e implícitas (regenerar, abandonar).

6. Alertas. Alertas en tiempo real por picos de coste, degradación de latencia, caídas de calidad y aumentos en la tasa de errores.

7. Herramientas de depuración. Cuando algo falla, el personal de respuesta autorizado puede inspeccionar la evidencia mínima aprobada necesaria para entenderlo; las entradas y salidas en bruto no están garantizadas ni son universalmente accesibles.

Revisaremos cada una.

Instrumentación a nivel de llamada

Cada llamada al LLM debe producir un registro de metadatos aprobado. Los campos de identidad y carga útil comentados abajo son campos sensibles opcionales, no valores predeterminados:

{
  "call_id": "uuid",
  "timestamp": "2026-08-04T14:23:45Z",
  "trace_id": "uuid",  // para agrupar en trazas
  "span_id": "uuid",   // para relaciones padre-hijo
  "feature": "summarize_document",
  "prompt_version": "v3.2",
  "model": "provider-model-revision",
  "provider": "anthropic",
  "input_messages": null,  // opcional; solo carga útil aprobada muestreada/enmascarada
  "output_message": null,  // opcional; solo carga útil aprobada muestreada/enmascarada
  "input_tokens": 1842,
  "output_tokens": 384,
  "total_tokens": 2226,
  "cost_usd": 0.0084,
  "latency_ms": 2340,
  "first_token_ms": 1240,  // transmisión en tiempo real (streaming)
  "status": "success",
  "error": null,
  "subject_ref": "pseudonymous_ref",  // opcional, búsqueda específica para el propósito
  "tenant_ref": "tenant_scoped_ref",
  "metadata": {
    "session_id": "...",
    "experiment_arm": "v3_test"
  }
}

Este es un evento de aplicación ilustrativo, no un esquema obligatorio. Captura el mínimo necesario para un propósito operativo definido. Los prompts y salidas en bruto son cargas útiles sensibles opcionales, no telemetría predeterminada.

Elecciones clave de implementación:

Dónde registrar. Opciones:

  • Una herramienta dedicada de observabilidad (Helicone, LangSmith, Phoenix, Braintrust, Arize).
  • Una plataforma general de observabilidad con extensiones para LLM (Datadog LLM Observability, Sentry).
  • Tus propios registros/base de datos.

Elige según los requisitos: exportación OpenTelemetry, visualización de trazas y llamadas a herramientas, ubicación de los datos, alojamiento en infraestructura propia, enmascaramiento, control de acceso, API de conservación y eliminación, mantenimiento de precios del modelo, soporte para evaluaciones y coste total. Una herramienta dedicada, un APM existente o una implementación pequeña propia pueden ser opciones válidas; prueba la exportación y la eliminación antes de comprometerte.

Cómo instrumentar. Opciones:

  • Un proxy que se sitúa entre tu aplicación y el proveedor del LLM (modelo de Helicone).
  • Un SDK envolvente en el código de tu aplicación.
  • Una clase wrapper que llamas manualmente para cada invocación del LLM.

Los proxies centralizan la instrumentación pero añaden un salto de red y un dominio de fallo. El envoltorio del SDK mantiene la instrumentación dentro del proceso, pero acopla el código a la integración. Los wrappers manuales pueden ser precisos, pero requieren pruebas de cobertura. Mide la sobrecarga y el comportamiento ante fallos para el enfoque seleccionado.

Un enfoque pragmático: envoltorio del SDK en el límite donde tu aplicación llama al LLM. Un solo lugar para instrumentar; todo lo demás fluye a través de él.

Qué registrar. Aplica clasificación de datos y conservación antes de habilitar la captura de carga útil. Bajo el RGPD, los principios de minimización de datos y limitación del plazo de conservación del artículo 5 siguen aplicándose a los datos de observabilidad.

  • Prefiere la versión del prompt, los hashes, los recuentos de tokens, las decisiones de política y las métricas derivadas antes que el contenido en bruto.
  • Si la captura de carga útil está justificada, muestréala, enmascárala antes de exportarla, cífrala, restringe el acceso y establece un período corto de conservación.
  • No conserves un original en bruto automáticamente recuperable solo porque se registró una copia enmascarada; eso recrea el almacén de datos sensibles y necesita su propio propósito lícito y controles.
  • No registres credenciales, incluso en rutas de error.
  • Para streaming, registra tanto la latencia del primer token como la latencia total.

Instrumentación a nivel de traza

Una sola acción del usuario a menudo implica muchas llamadas al LLM. Sin instrumentación a nivel de traza, tienes mil registros de llamadas y ninguna forma de saber qué llamadas formaban parte de qué acción del usuario.

Implementación:

Generación de ID de traza. Genera un ID único para la traza al inicio de una solicitud del usuario. Pásalo por todas las llamadas subsiguientes.

Spans padre-hijo. Dentro de una traza, cada llamada tiene un span ID y (opcionalmente) un parent span ID. Esto crea un árbol que muestra la jerarquía de llamadas.

Nomenclatura de operaciones. Cada span se nombra (“summarize_document”, “extract_entities”, “tool_call:search”). La traza muestra la cadena completa de operaciones.

Una vista de traza en tu interfaz:

Trace abc-123 (12.3s total)
├─ classify_intent (450ms) [small-model-revision]
├─ retrieve_documents (1.2s) [embedding + search]
├─ generate_response (8.5s) [generation-model-revision]
│   ├─ tool_call: search_internal (320ms)
│   ├─ tool_call: lookup_customer (180ms)
│   └─ generate_final_text (7.5s)
└─ judge_response_quality (2.1s) [claude-haiku-4-5]

Ahora puedes ver lo que tu sistema hizo realmente para esta solicitud del usuario. Puedes encontrar llamadas lentas, costosas o fallidas —en contexto—.

Las implementaciones candidatas incluyen productos dedicados de observabilidad de LLM y sistemas APM generales que usan OpenTelemetry. Verifica la propagación de trazas, representación de llamadas a herramientas, exportación, enmascaramiento, eliminación, control de acceso y comportamiento ante fallos en una prueba representativa, en lugar de confiar solo en una lista de productos.

Métricas a nivel de aplicación

Más allá de las llamadas individuales, métricas agregadas:

Por función.

  • Volumen de llamadas.
  • Latencia promedio.
  • Latencia p50, p95 y p99.
  • Coste promedio por solicitud.
  • Tasa de errores.
  • Puntuación de calidad (si se mide).

Por usuario/inquilino.

  • Llamadas por usuario al día.
  • Coste por usuario.
  • Usuarios intensivos / patrones de abuso.

Por modelo.

  • Volumen por modelo.
  • Cuota de coste por modelo.
  • Tasa de errores por modelo.
  • Calidad (donde se mide) por modelo.

Por función × por modelo.

  • ¿Qué funciones usan qué modelos?
  • ¿Dónde podríamos enrutar a modelos más baratos?

Estos paneles impulsan decisiones operativas: qué funciones son costosas, cuáles lentas, cuáles necesitan optimización.

Monitorización de calidad

La capa más difícil: evaluación automática de la calidad.

Las evals las ejecutas sobre un conjunto de datos definido. En la monitorización de calidad en línea, evalúas el tráfico de producción.

Enfoques:

LLM como juez sobre una muestra. Define una muestra del volumen de tráfico, segmentos de riesgo, restricciones de privacidad, objetivo de detección y presupuesto. Ejecuta un juez calibrado en ejemplos elegibles, preserva la adjudicación humana para casos disputados o de alto impacto, y rastrea el resultado por versión de prompt/modelo. Los modelos jueces tienen sesgos de posición, verbosidad y preferencia propia; son mediciones que hay que validar, no una verdad de referencia.

Señales implícitas. Rastrea regeneraciones, abandonos, tasas de error, tiempo hasta la finalización, frecuencia de mensajes posteriores. Son señales débiles pero baratas. Úsalas como indicadores adelantados.

Retroalimentación explícita del usuario. Pulgar arriba/abajo, botones «¿esto ayudó?», informes explícitos. Señal más alta, pero volumen menor.

Detección de patrones. Patrones malos específicos («No puedo ayudar con eso», «Solo soy una IA», rechazos repetidos) marcados automáticamente. Detecta algunas regresiones inmediatamente.

Un registro de implementación debe indicar la regla de muestreo, datos excluidos, rúbrica, versión del juez, conjunto de calibración humana, incertidumbre, ventana de agregación, umbral de alerta y techo de coste. Deriva los umbrales de cambio a partir de ejecuciones repetidas de línea base y la gravedad de las regresiones no detectadas; un porcentaje copiado no tiene significado estadístico ni empresarial para una carga de trabajo diferente.

Observabilidad del coste

Los reintentos, bucles, entradas o salidas inesperadamente largas, cambios de enrutamiento y cambios en los precios del proveedor pueden elevar el coste rápidamente. Detecta cada mecanismo directamente en lugar de asumir un multiplicador.

Capas de observabilidad del coste:

Coste por llamada. El coste de cada llamada se calcula en el momento del registro. Las agregaciones están disponibles de inmediato.

Alertas de presupuesto. Presupuestos diarios, semanales o mensuales por función e inquilino, con umbrales de advertencia y aplicación elegidos a partir de la varianza pronosticada y la criticidad empresarial.

Detección de anomalías. Compara el coste y el uso con la línea base correcta de mezcla de tráfico, y limita por separado bucles patológicos de ejecución única, tokens, herramientas, reintentos, duración y gasto.

Atribución del coste. Costes por función, inquilino y usuario. Encuentra los principales contribuyentes.

Pronóstico. Basado en la trayectoria actual, ¿cuál será la factura a fin de mes?

Una vista útil del panel: un solo panel que muestra el coste de hoy vs el resto de esta semana vs la semana pasada, desglosado por función.

Establece límites presupuestarios a partir del tráfico medido y la criticidad empresarial. Prefiere controles escalonados —alertar, limitar la tasa (throttling), degradar una ruta no crítica, luego romper el circuito— porque una regla universal de «apagar en 10×» puede reaccionar demasiado tarde o eliminar un flujo esencial.

Observabilidad de la latencia

La latencia de los LLM es más matizada que la de las APIs típicas:

Latencia total. Desde la solicitud hasta la respuesta final.

Tiempo hasta el primer token (TTFT). Para streaming, ¿cuándo ve el usuario el primer carácter? Esto domina la latencia percibida en UX de chat.

Tiempo hasta el último token (TTLT). ¿Cuánto tiempo hasta que la respuesta esté completa?

Tokens por segundo. Tasa de salida. Algunos modelos transmiten más lento que otros.

Latencia de llamada a herramienta. Para flujos de agentes, tiempo empleado en llamadas a herramientas frente a llamadas al LLM.

Rastrea todas estas. Diferentes estrategias de optimización apuntan a diferentes métricas.

Para el chat de cara al usuario, el TTFT es una métrica de interacción importante; el tiempo total de finalización, la tasa de salida, las interrupciones, el éxito en la tarea y la accesibilidad también importan. Establece objetivos desde el comportamiento observado del usuario en lugar de asumir que una sola métrica de latencia domina cada interfaz.

Para lotes: importa la latencia total; el rendimiento (throughput) importa más.

Para agentes: la latencia de llamada a herramienta suele dominar; optimizar el LLM no ayuda si las herramientas son lentas.

Observabilidad de errores

Errores específicos de los LLM:

Errores de API. Límites de tasa, fallos de autenticación, errores del servidor. Igual que cualquier API.

Errores de validación. La salida estructurada no se ajustó al esquema. Rastrea la frecuencia por función.

Errores de filtro de contenido. El proveedor bloqueó la solicitud. Rastrea para detectar problemas en el prompt.

Errores de herramienta. Herramientas específicas fallando. Rastrea por herramienta.

Errores de calidad. El LLM juez puntuó la salida como mala. Rastrea a lo largo del tiempo.

Señales de alucinación. Detección de posibles alucinaciones (el modelo afirmó algo no presente en la fuente). Difícil de detectar automáticamente, pero puede aproximarse.

Errores de coste. Llamadas que cuestan mucho más de lo esperado. A menudo indican un error de código.

Cada uno tiene su propio panel. Cada uno puede desencadenar alertas.

Herramientas de depuración

Cuando algo falla, necesitas encontrarlo y entenderlo. La superficie de depuración incluye:

Búsqueda en trazas. Encuentra un evento por ID de traza, referencia pseudónima aprobada del sujeto o marca temporal sin exponer datos más amplios del inquilino.

Inspector de llamadas. Muestra metadatos por defecto. Revela solo campos de solicitud/respuesta aprobados y minimizados bajo verificaciones de rol, registro de acceso, limitación de propósito y reglas de conservación; muchos despliegues nunca deberían conservar la carga útil completa.

Línea temporal de trazas. Para flujos complejos, ve la cadena de llamadas visualmente.

Capacidad de repetición controlada. ¿Se puede volver a ejecutar una entrada aprobada y minimizada en un entorno aislado con herramientas deshabilitadas o en un sandbox? Nunca repitas llamadas de producción hacia efectos secundarios en vivo, ni asumas que las cargas útiles retenidas están justificadas solo porque la repetición es útil.

Vista comparativa. Compara dos llamadas —diferentes versiones del mismo prompt, diferentes modelos— lado a lado.

Búsqueda por contenido aprobado o campos derivados. Busca patrones definidos sin convertir el sistema de telemetría en un corpus irrestricto de prompts de clientes. La autorización, minimización, indexación, conservación y registro de acceso se aplican a la búsqueda tanto como al almacenamiento.

Los productos difieren materialmente en estas capacidades. Verifícalas en una prueba representativa e incluye integración, almacenamiento, revisión de privacidad, migración y trabajo operativo en la comparación; el precio listado por sí solo no demuestra que comprar sea más barato.

Privacidad y PII (Información Personal Identificable)

Los registros de observabilidad de LLM son sensibles. Las entradas pueden contener datos personales; las salidas pueden citarlos. La captura de carga útil en bruto a veces se propone para depuración, pero no es automáticamente necesaria ni lícita; define el propósito y considera la reproducción sintética, campos derivados o muestras controladas de corta duración primero.

Prácticas:

Pseudonimización/tokenización. Reemplaza identificadores directos con tokens específicos del propósito y protege cualquier búsqueda de reidentificación por separado. Si la reidentificación sigue siendo posible, los registros siguen siendo datos personales y no «no PII» anónimos.

Enmascaramiento en el momento del registro. Detecta y enmascara la PII antes de que llegue al almacenamiento de observabilidad. Los patrones específicos (correos electrónicos, números de teléfono, SSN) se reemplazan por marcadores de posición.

Aislamiento por inquilino. Datos de observabilidad multiinquilino aislados por inquilino. Los datos de un inquilino no son visibles para otro.

Controles de acceso. ¿Quién puede ver las entradas/salidas en bruto? Queda registrado.

Políticas de conservación. Los registros más antiguos que X días se eliminan o mueven a almacenamiento frío. La conservación de PII tiene límites legales en muchas jurisdicciones.

Flujo de supresión y restricción. Haz que los registros de telemetría se puedan localizar mediante los identificadores aprobados para ese fin e implementa en el almacenamiento primario, los índices, las exportaciones y las copias de seguridad la medida que defina la asesoría jurídica. No conviertas la expresión coloquial «derecho al olvido» en una promesa general; el derecho de supresión del RGPD está sujeto a condiciones y excepciones.

El sistema necesita controles proporcionales a los datos personales y al propósito. La combinación exacta varía, pero el aislamiento por inquilino, acceso autorizado, minimización, conservación, manejo de eliminación/restricción y auditabilidad deben decidirse antes de habilitar la telemetría de carga útil. La Comisión Europea resume las condiciones y excepciones para solicitudes de borrado.

Alertas

Umbrales y señales que justifican alertas:

Coste.

  • El gasto o la previsión supera el marco presupuestario medido de la función.
  • El coste por solicitud excede un techo específico de la carga de trabajo.
  • La tasa de cambio excede la banda de línea base para la misma mezcla de tráfico.

Latencia.

  • La latencia de cola supera el objetivo de servicio medido del producto.
  • El tiempo hasta el primer token o hasta la finalización supera el objetivo específico de la interacción.
  • Los tiempos de espera agotados de las herramientas o el tiempo en cola se desvían de la banda de línea base.

Tasa de errores.

  • La tasa de errores supera el presupuesto de error de la carga de trabajo.
  • Un tipo de error específico se desvía de su banda de línea base, incluidos los errores de validación y los límites de tasa.

Calidad.

  • Una métrica calibrada cambia más allá de su varianza de ejecución repetida o un segmento de seguridad registra cualquier resultado no permitido.
  • La tasa negativa de retroalimentación del usuario > línea base.
  • La tasa de regeneración > línea base.

Patrón.

  • Frases problemáticas específicas que aparecen con mayor frecuencia.
  • Cambio repentino en la distribución de entrada.

Cada alerta debe identificar la función, ventana de tiempo, valor observado y esperado, segmento afectado, enlaces a trazas y libro de ejecución (runbook). No diagnostiques un bucle descontrolado en el texto de la alerta a menos que la telemetría de bucles o reintentos respalde ese diagnóstico.

Consideraciones multiinquilino

Para aplicaciones B2B SaaS:

Métricas por inquilino. Cada cliente puede ver su propio uso, costes y calidad.

Alertas por inquilino. Específicas para sus umbrales.

Depuración por inquilino. El soporte puede ver las trazas de un cliente (con controles de acceso apropiados).

Configuración por inquilino. Algunos clientes pueden tener diferentes modelos, prompts o políticas. La capa de observabilidad refleja esto.

Para sistemas multiinquilino, la atribución y el aislamiento por inquilino pueden ser necesarios para soporte y facturación, pero el acceso a trazas en bruto no está automáticamente justificado. Da al soporte los mínimos datos y capacidades necesarios, registra el acceso y proporciona una ruta de escalada para cargas útiles sensibles.

Ecosistema de herramientas (2026)

Una visión general del panorama de herramientas de observabilidad de LLM en el momento de redactar este artículo:

Observabilidad dedicada para LLM:

  • Helicone, LangSmith, Phoenix (Arize), Braintrust, PromptLayer y Weights & Biases Weave son candidatos a verificar contra los requisitos anteriores.

APM general con extensiones para LLM:

  • Datadog LLM Observability y New Relic AI Monitoring son candidatos cuando la organización ya usa esas plataformas.
  • OpenTelemetry + tu APM de elección. OTel tiene convenciones semánticas GenAI; instrumenta una vez, visualiza en muchas herramientas.

Solución propia:

  • Una pequeña base de datos puede ser suficiente para un sistema acotado cuando implementa los controles necesarios de aislamiento, acceso, conservación, eliminación e indexación.
  • Añade una interfaz simple para buscar y mostrar.
  • Integra con tu infraestructura de registro existente.

Registra la elección, alternativas rechazadas, revisión del flujo de datos, prueba de salida/exportación y fecha de reevaluación. No hay un camino de migración predeterminado que se adapte a todos los equipos.

Una configuración práctica

Secuencia por dependencia y riesgo en lugar de un calendario genérico:

Etapa 1: Selecciona un candidato contra los requisitos y ejecútalo con trazas sintéticas no sensibles. Verifica la exportación, el acceso, el enmascaramiento, la conservación, la eliminación, el comportamiento ante fallos y las rutas de salida —no solo la ingestión—.

Etapa 2: Añade paneles para los objetivos de servicio definidos, incluyendo coste por función, distribuciones de latencia, clases de error, versiones de modelo/prompt y tasas de telemetría faltante.

Etapa 3: Configura alertas derivadas de la carga de trabajo sobre coste, bucles, latencia y clases de error.

Etapa 4: Conecta spans a través de flujos multillamada y verifica la propagación de trazas a través de herramientas y colas.

Etapa 5: Implementa muestreo de calidad aprobado y calibra las puntuaciones automáticas contra juicios humanos.

Etapa 6: Añade retroalimentación del usuario solo cuando su interpretación, manejo de privacidad y flujo de respuesta estén definidos.

Etapa 7: Añade vistas específicas por inquilino y capacidades de depuración con auditorías de autorización y acceso.

El registro de aceptación para cada etapa debe incluir pruebas, clasificaciones de datos, propietarios, comportamiento ante fallos y reversión. Omite una capacidad solo con una justificación explícita y un control compensatorio.

Qué sale mal sin observabilidad

Un breve catálogo de patrones de incidentes que se repiten en equipos sin una observabilidad de LLM adecuada:

  • Una función reintenta llamadas en un bucle cerrado y acumula cargos inesperados antes de una revisión de facturación.

  • Una actualización del modelo cambia el comportamiento, pero las solicitudes no registran la versión del modelo, lo que retrasa la atribución.

  • Una versión del prompt degrada un flujo importante, pero las trazas de despliegue y respuesta no se pueden comparar por versión.

  • Un agente entra en bucle, pero la falta de presupuestos de paso y de instrumentación a nivel de traza oculta el estado repetido.

  • Un fallo de autenticación de una herramienta desencadena reintentos, pero las clases de error y la telemetría de reintentos no están conectadas.

  • Una ruta de inyección de prompt produce una divulgación insegura, pero la falta de linaje de datos y de telemetría de decisiones de política impide una evaluación del impacto.

Estos son escenarios de fallo para probar. La observabilidad crea evidencia para detección e investigación; no previene el fallo subyacente a menos que los controles de aplicación actúen sobre las señales.

Instrumenta antes del incidente

La observabilidad de LLM amplía la APM habitual en lugar de reemplazarla. Selecciona las señales de llamada, traza, calidad, coste, latencia, error y depuración justificadas por la carga de trabajo y el modelo de amenazas, y conecta las señales a controles de respuesta probados.

Una afirmación sobre producción debería mostrar, en cambio, el tiempo de detección por escenario, la completitud de las trazas, la precisión y el recall de las alertas cuando sean medibles, el comportamiento del control presupuestario, las pruebas de privacidad y la evidencia de restauración o reversión. Instrumenta antes del lanzamiento, ensaya los libros de ejecución y publica solo resultados que realmente hayas medido.

Leer a continuación

Continúa por el mismo itinerario de aprendizaje con los siguientes artículos prácticos.