Как системно выстроить оценку LLM (метрики, юнит-тесты, LLM-as-a-Judge)

Dave Ebbelaar. Действующий ИИ-инженер проходит по своей реальной лестнице оценок — юнит-тесты в стиле assert, метрики без эталонов, согласование LLM-as-judge с людьми и цикл «анализируй–измеряй–улучшай». Такая структура — самое близкое из доступного на видео к тезису статьи, что оценки — это система для отлова регрессий, а не таблица лидеров.

Смотреть дальше

Продолжайте тот же учебный путь со следующими связанными видео.

9 мин

LangSmith за 10 минут

Вы сможете ориентироваться в трассах, проектах и датасетах LangSmith и считывать стоимость по токенам, латентность, частоту ошибок и детализацию по каждому спану.

ПродвинутыйИИ для бизнеса

75 мин

Полный экспресс-курс по MCP — сборка с нуля

Вы соберёте свой первый MCP-сервер и поймёте, как связаны между собой инструменты, схемы, промпты, ресурсы и транспорты.

ПродвинутыйИИ для бизнеса

19 мин

Создание более эффективных ИИ-агентов

Вы улучшите проектирование инструментов так, чтобы агенты выбирали нужное действие с нужными параметрами.

ПродвинутыйИИ для бизнеса