Оценки качества для не-инженеров: узнайте, становится ли ваш рабочий процесс с ИИ лучше или хуже — видео к статье

Lenny's Podcast

Хамел Хусейн и Шрея Шанкар проходят весь процесс оценки качества на реальном ИИ-ассистенте для управления недвижимостью: разбирают трассировки, ведут открытое и осевое кодирование ошибок, решают, когда остановиться, строят модель-судью (LLM-as-judge) и сверяют её с человеческим суждением. Это редкий обстоятельный разговор, действительно рассчитанный на продакт-менеджеров и руководителей команд, а не на ML-инженеров, и он выдерживает тот же ритм «30 минут в неделю после настройки», который рекомендует статья.

Что вынести из этого видео: Освойте цикл оценки качества для продакт-менеджеров: разбор трассировок, разметка ошибок, определение критериев, проверка изменений и сравнение с человеческим суждением.

Что посмотреть или знать заранее: Полезно понимать бизнес-процессы, риски и практические сценарии применения ИИ.

Anthropic

Трёхминутный разбор от Anthropic о том, как запустить настоящую оценку внутри Workbench: автогенерация реалистичных тест-кейсов, оценка результатов, правка промпта и повторный параллельный прогон того же набора для сравнения. Просмотров меньше обычной планки, но для запроса «как мне реально сделать это без кода» это самое чистое официальное демо, и оно аккуратно встаёт под более стратегический разговор Хусейн/Шанкар.

Что вынести из этого видео: Увидите самый компактный вариант повторяемой оценки промптов — без единой строчки кода.

Что посмотреть или знать заранее: Полезен базовый опыт работы с ChatGPT или другим ИИ-инструментом.