Evaluación, observabilidad y calidad
Mide el comportamiento de la IA, detecta regresiones, controla costes y latencia y mejora continuamente los flujos de trabajo.
8 contenidos (3 artículos · 5 vídeos)
Comienza aquí
Una selección inicial antes de explorar todo el contenido.
10 min de lecturaEvaluaciones para no ingenieros: descubre si tu flujo de IA mejora o empeora
Las evaluaciones —la medición sistemática de la calidad de las respuestas de una IA— suelen considerarse una tarea de ingeniería. Sin embargo, todos los equipos que ejecutan flujos de IA las necesitan y sus fundamentos se pueden aplicar sin programar. Aprende cómo hacerlo.
Intermedio
12 min de lecturaObservabilidad para aplicaciones con LLM: trazas, costes, latencia y deriva de calidad
Amplía la observabilidad habitual con trazas multietapa, costes atribuibles, versiones de prompt y modelo, señales de calidad evaluada, controles de privacidad y alertas derivadas de la carga de trabajo.
AvanzadoMás sobre este tema
69 minutosEl panorama de los agentes: lecciones aprendidas al llevar agentes a producción
MLOps.community. El vicepresidente de IA de Prosus y un ingeniero de IA explican qué falló realmente cuando desplegaron agentes en las empresas de la cartera del grupo: pruebas de penetración de inyección de prompts antes del lanzamiento; una escritura insegura cuando un agente de Jira no interpretó correctamente la taquigrafía humana; contexto obsoleto gestionado haciendo que los agentes expusieran sus supuestos; y mecanismos alternativos que fusionaban o retiraban agentes cuando estos empezaban a añadir carga cognitiva. Es como ver el registro de modos de fallo del artículo reproducido en una autopsia en directo.
Avanzado
10 min de lecturaModos de fallo de IA en producción: qué falla después de la demostración
Los sistemas de IA suelen fallar de formas predecibles: alucinaciones, contexto obsoleto, complacencia, inyección de prompts, uso inseguro de herramientas, deriva de esquemas y gestión deficiente de fallos. Este registro de modos de fallo está dirigido a equipos que despliegan flujos de trabajo reales.
Avanzado
107 minutosPor qué las evaluaciones de IA son la nueva habilidad más demandada para quienes crean productos | Hamel Husain y Shreya Shankar
Lenny's Podcast. La conversación con Husain y Shankar complementa el requisito del artículo de asignar responsables y ajustar la frecuencia de revisión a cambios, incidentes y fallos observados. Estima el tiempo de revisión para tu propio flujo.
Intermedio
3 minutosEvalúa prompts en la consola de Anthropic
Anthropic. Es una demostración de tres minutos de Anthropic sobre cómo ejecutar una evaluación real en Workbench: generar automáticamente casos de prueba realistas, calificar las respuestas, ajustar el prompt y volver a ejecutar en paralelo el mismo conjunto. Las visualizaciones quedan por debajo del umbral habitual, pero es la demostración oficial más clara para responder «¿cómo hago esto sin escribir código?» y complementa bien la conversación más estratégica de Husain y Shankar.
Intermedio
9 minutosLangSmith en 10 minutos
LangChain. El cofundador de LangChain recorre una traza, un proyecto y un conjunto de datos de LLM: coste en tokens, latencia, tasa de errores, agregación de comentarios y análisis detallado del span correspondiente a un único paso de recuperación. Es el equivalente visual más cercano a lo que describe el artículo cuando afirma que «cada llamada es un span» y explica por qué las trazas estructuradas superan a los registros mediante print.
Avanzado
154 minutosInstrumentación y evaluación de LLM
Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase y Shreya Shankar trabajan con trazas, análisis de registros, LLM como juez y el proceso de revisión de datos reales de producción. Dedícale el tiempo que dedicarías a un pódcast extenso: es la mejor explicación en profundidad de YouTube sobre la tesis «observa tus trazas» del artículo.
Avanzado