Сборка оценок, которые реально ловят регрессии — видео к статье

Dave Ebbelaar

Действующий ИИ-инженер проходит по своей реальной лестнице оценок — юнит-тесты в стиле assert, метрики без эталонов, согласование LLM-as-judge с людьми и цикл «анализируй–измеряй–улучшай». Такая структура — самое близкое из доступного на видео к тезису статьи, что оценки — это система для отлова регрессий, а не таблица лидеров.

Что вынести из этого видео: Спроектировать лестницу оценок, которая ловит регрессии до того, как изменения промпта или модели дойдут до пользователей.

Что посмотреть или знать заранее: Полезно понимать API, автоматизации, RAG или базовую архитектуру агентов.

AI Engineer

Хамель Хусейн и технический директор Rechat разбирают систему оценки за реальным ИИ-продуктом: почему универсальные готовые оценки не работают, слоёная схема из assert-проверок, логов с проверкой человеком и LLM-судей, согласованных с профильным экспертом, и как рабочая система оценки открывает путь к курированию данных и дообучению. Это производственный кейс для тезиса статьи, что оценки — это механизм для отлова регрессий, а не таблица лидеров.

Что вынести из этого видео: Увидеть, как продуктовая команда слоями выстраивает assert-проверки, проверку человеком и LLM-судей, чтобы регрессии всплывали до релиза.

Что посмотреть или знать заранее: Уверенное владение базовой терминологией оценки LLM и схемой «лестницы оценок» из статьи.