9 минLangSmith за 10 минут
Вы сможете ориентироваться в трассах, проектах и датасетах LangSmith и считывать стоимость по токенам, латентность, частоту ошибок и детализацию по каждому спану.
ПродвинутыйИИ для бизнеса
Как строить доменно-специфичные системы оценки LLM: Hamel Husain и Emil Sedgh
AI Engineer. Хамель Хусейн и технический директор Rechat разбирают систему оценки за реальным ИИ-продуктом: почему универсальные готовые оценки не работают, слоёная схема из assert-проверок, логов с проверкой человеком и LLM-судей, согласованных с профильным экспертом, и как рабочая система оценки открывает путь к курированию данных и дообучению. Это производственный кейс для тезиса статьи, что оценки — это механизм для отлова регрессий, а не таблица лидеров.
Заметка AI Expert
Записано в середине 2024 года; конкретные инструменты ушли вперёд, но дизайн системы — нет. Используйте как архитектурный ориентир, а не как справочник по поставщикам, и держите профильного эксперта в контуре, как настаивает доклад.
Что вынести из этого видео
Увидеть, как продуктовая команда слоями выстраивает assert-проверки, проверку человеком и LLM-судей, чтобы регрессии всплывали до релиза.
Что посмотреть или знать заранее
Уверенное владение базовой терминологией оценки LLM и схемой «лестницы оценок» из статьи.
Последняя проверка: 15 июля 2026 г.
Смотреть дальше
Продолжайте тот же учебный путь со следующими связанными видео.
9 мин
75 минПолный экспресс-курс по MCP — сборка с нуля
Вы соберёте свой первый MCP-сервер и поймёте, как связаны между собой инструменты, схемы, промпты, ресурсы и транспорты.
ПродвинутыйИИ для бизнеса
19 минСоздание более эффективных ИИ-агентов
Вы улучшите проектирование инструментов так, чтобы агенты выбирали нужное действие с нужными параметрами.
ПродвинутыйИИ для бизнеса
Углубиться
Тщательно подобранные внешние курсы, которые глубже раскрывают эту тему.
Coursera · Emory UniversityGenerative AI in Marketing
Emory University Goizueta Business School faculty
Более глубокий университетский аналог нашего начинающего HubSpot-курса по маркетингу — подход бизнес-школы Emory идёт дальше «как писать промпты» к обучению генеративных моделей под брендовый вывод, экономике воронки покупок для ИИ-контента и целому модулю настоящего скепсиса о том, когда генеративный ИИ в маркетинге стоит использовать, а когда нет.
Продвинутый~14 часов · в своём темпе (4 модуля)
Coursera · IBMGenerative AI for Executives and Business Leaders
IBM AI Academy
Ответ эпохи генеративного ИИ на вопрос о стратегии для руководителей. Три коротких курса, адресованных напрямую бизнес-лидерам — техническая подготовка не нужна — о том, где генеративный ИИ создаёт ценность, как им ответственно управлять и как превратить расплывчатое «нам нужен ИИ» в конкретный, обоснованный сценарий использования. Оценка 4,6 примерно по 700 отзывам.
Продвинутый~10 часов · специализация из 3 курсов