Cómo crear evaluaciones que realmente detecten regresiones — vídeos complementarios

Dave Ebbelaar

Un ingeniero de IA en activo recorre su escala real de evaluaciones: pruebas unitarias de tipo assert, métricas sin referencia, alineación del LLM como juez con el criterio humano y el ciclo de analizar, medir y mejorar. Es la estructura audiovisual que más se aproxima al argumento del artículo: las evaluaciones forman un sistema para detectar regresiones, no una clasificación.

Qué aprenderás: Diseñarás una escala de evaluaciones que detecte regresiones antes de que los cambios en los prompts o los modelos lleguen a los usuarios.

Qué ver o saber antes: Experiencia implementando o manteniendo un flujo de trabajo de IA con ejemplos de fallos conocidos.

AI Engineer

Hamel Husain y el CTO de Rechat recorren el sistema de evaluación de un producto de IA real: por qué fallan las evaluaciones genéricas y preconfiguradas; cómo combinan por capas aserciones, trazas registradas con revisión humana y LLM jueces alineados con un especialista del dominio; y cómo un sistema funcional permite avanzar en la curación de datos y el ajuste fino. Es el caso de producción que materializa el argumento del artículo: las evaluaciones son maquinaria para detectar regresiones, no una clasificación.

Qué aprenderás: Verás cómo un equipo de producción combina aserciones, revisión humana y LLM jueces para hacer aflorar las regresiones antes del lanzamiento.

Qué ver o saber antes: Familiaridad con el vocabulario básico de evaluación de modelos de lenguaje y el marco de escalera de evaluaciones del artículo.