Видео к статье

Наблюдаемость LLM-приложений — видео к статье

Материалов по наблюдаемости LLM на YouTube действительно мало: большая часть того, что есть, — это демо от вендоров, а у большинства практиков, которые об этом пишут, небольшая аудитория. Мы выбрали самый аккуратный продуктовый разбор и самый длинный круглый стол практиков, чтобы вы могли увидеть одни и те же концепции трассировки сразу с двух сторон — и как интерфейс, по которому реально можно покликать, и как систему, о которой спорят опытные инженеры.

Основная рекомендация

9:21

LangSmith in 10 Minutes

LangChain

Наглядный разбор LLM-трассы, проекта и датасета от сооснователя LangChain — стоимость по токенам, латентность, частота ошибок, агрегация обратной связи, погружение в отдельный спан шага извлечения. Это самый близкий визуальный аналог тому, что статья описывает фразой «каждый вызов — это спан», и объяснению, почему структурированные трассировки лучше логирования через print.

Что вынести из этого видео: Вы сможете ориентироваться в трассах, проектах и датасетах LangSmith и считывать стоимость по токенам, латентность, частоту ошибок и детализацию по каждому спану.

Открыть страницу видео

Также стоит посмотреть

2:33:51

Instrumenting & Evaluating LLMs

Hamel Husain

Хамел Хусейн, Юджин Ян, Брайан Бишоф, Харрисон Чейз и Шрея Шанкар разбирают трассировку, анализ логов, подход «LLM как судья» и рабочий процесс вокруг изучения реальных продакшн-данных. Отнеситесь к записи как к длинному подкасту — это лучший на YouTube глубокий разбор тезиса статьи «смотрите на свои трассировки».

Что вынести из этого видео: Вы свяжете трассировку, оценку, обратную связь и разбор продакшн-данных в единый рабочий цикл для LLM-систем.

Открыть страницу видео