Evaluaciones para no ingenieros: descubre si tu flujo de IA mejora o empeora — vídeos complementarios

Lenny's Podcast

Hamel Husain y Shreya Shankar recorren el flujo completo de evaluación con un asistente de IA real para la gestión inmobiliaria: inspeccionar trazas, aplicar codificación abierta y axial a los errores, decidir cuándo detenerse, crear un LLM como juez y validarlo frente al criterio humano. Es una de las pocas conversaciones extensas dirigidas realmente a responsables de producto y de equipo, no a ingenieros de ML, y sigue el mismo ritmo de «30 minutos a la semana después de la configuración» recomendado por el artículo.

Qué aprenderás: Aprenderás el ciclo de evaluación para productos: inspeccionar trazas, etiquetar fallos, definir criterios, probar cambios y comparar los resultados con el criterio humano.

Qué ver o saber antes: Tener al menos un flujo de trabajo de IA donde la calidad pueda mejorar o empeorar con el tiempo.

Anthropic

Es una demostración de tres minutos de Anthropic sobre cómo ejecutar una evaluación real en Workbench: generar automáticamente casos de prueba realistas, calificar las respuestas, ajustar el prompt y volver a ejecutar en paralelo el mismo conjunto. Las visualizaciones quedan por debajo del umbral habitual, pero es la demostración oficial más clara para responder «¿cómo hago esto sin escribir código?» y complementa bien la conversación más estratégica de Husain y Shankar.

Qué aprenderás: Verás la versión mínima y sin código de una evaluación de prompts repetible.

Qué ver o saber antes: Experiencia básica editando prompts y acceso a una herramienta de evaluación, como una consola o Workbench.