Observabilidad para aplicaciones con LLM — vídeos complementarios

LangChain

El cofundador de LangChain recorre una traza, un proyecto y un conjunto de datos de LLM: coste en tokens, latencia, tasa de errores, agregación de comentarios y análisis detallado del span correspondiente a un único paso de recuperación. Es el equivalente visual más cercano a lo que describe el artículo cuando afirma que «cada llamada es un span» y explica por qué las trazas estructuradas superan a los registros mediante print.

Qué aprenderás: Podrás navegar por trazas, proyectos y conjuntos de datos en LangSmith, y consultar el coste en tokens, la latencia, la tasa de errores y el detalle de cada span.

Qué ver o saber antes: Conocimientos básicos sobre llamadas a la API de modelos de lenguaje de gran tamaño; no es necesario ser usuario de LangChain para seguir los conceptos de seguimiento.

Hamel Husain

Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase y Shreya Shankar trabajan con trazas, análisis de registros, LLM como juez y el proceso de revisión de datos reales de producción. Dedícale el tiempo que dedicarías a un pódcast extenso: es la mejor explicación en profundidad de YouTube sobre la tesis «observa tus trazas» del artículo.

Qué aprenderás: Conectarás las trazas, la evaluación, los comentarios y la revisión de producción en un ciclo operativo para sistemas con LLM.

Qué ver o saber antes: Experiencia con modelos de lenguaje de gran tamaño en producción — asume que tienes seguimientos y registros reales que analizar.