Evaluatsioonide ehitamine, mis regressioone päriselt püüavad — kaasnevad videod

Dave Ebbelaar

Töötav AI-insener käib läbi oma tegelikku evaluatsiooni-redelit — assert-stiili ühiktestid, referentsi-vabad mõõdikud, LLM-as-judge inimestega joondamine ja analüüsi/mõõtmise/parandamise silmus. Struktuur on videos lähim vaste artikli argumendile, et evaluatsioonid on regressioone püüdev süsteem, mitte edetabel.

Mida sellest videost kaasa võtta: Saad tehnilise mustri teemal "Evaluatsioonide ehitamine, mis regressioone päriselt püüavad" ning oskad hinnata riske, piire ja järgmist sammu.

Mida enne vaadata või teada: Kasuks tuleb arusaam API-dest, automatsioonidest, RAG-ist või agentide tööpõhimõtetest.

AI Engineer

Hamel Husain ja Rechati CTO käivad läbi päris AI-toote taga oleva hindamissüsteemi: miks üldised valmis-evalid läbi kukuvad, kihiline ülesehitus assertidest, logitud jälgedest inimülevaatusega ja domeeneksperdiga joondatud LLM-kohtunikest ning kuidas töötav hindamissüsteem avab andmekureerimise ja peenhäälestuse. See on tootmise juhtumianalüüs artikli argumendile, et evalid on regressioone püüdev masinavärk, mitte edetabel.

Mida sellest videost kaasa võtta: Näed, kuidas tootmistiim kihistab asserte, inimülevaatust ja LLM-kohtunikke, et regressioonid tuleksid välja enne väljalaset.

Mida enne vaadata või teada: Mugavustunne LLM-i hindamise põhiterminitega ja artikli evaluatsiooniredeli raamiga.