Почему оценка качества ИИ — самый востребованный новый навык продуктовых команд | Hamel Husain и Shreya Shankar

Lenny's Podcast. Хамел Хусейн и Шрея Шанкар проходят весь процесс оценки качества на реальном ИИ-ассистенте для управления недвижимостью: разбирают трассировки, ведут открытое и осевое кодирование ошибок, решают, когда остановиться, строят модель-судью (LLM-as-judge) и сверяют её с человеческим суждением. Это редкий обстоятельный разговор, действительно рассчитанный на продакт-менеджеров и руководителей команд, а не на ML-инженеров, и он выдерживает тот же ритм «30 минут в неделю после настройки», который рекомендует статья.

Смотреть дальше

Продолжайте тот же учебный путь со следующими связанными видео.

211 мин

Глубокое погружение в LLM вроде ChatGPT

Разобраться в современном LLM-стеке настолько, чтобы уверенно рассуждать о токенах, обучении, инструментах и сбоях.

ПродвинутыйChatGPT и LLM

18 мин

Pydantic — всё, что вам нужно: Jason Liu

Понять, почему вызовы LLM по схеме требуют типизированных объектов, валидаторов, повторных попыток и явной обработки некорректных или галлюцинированных полей.

ПродвинутыйИИ для бизнеса

77 мин

Промпт-инжиниринг для ИИ: глубокое погружение

Услышать, как промпт-инженеры в продакшене пересматривают инструкции, примеры и поведенческие ограничения под реальным давлением, а не относятся к промптам как к разовому тексту.

ПродвинутыйЗапросы к ИИ