Kaasnevad videod

Evaluatsioonid mitte-inseneridele — kaasnevad videod

Artikkel argumenteerib, et oma promptide "vibe-kontrollimine" on okei seni, kuni see enam ei ole — mingil hetkel sul on vaja väikest, korratavat viisi küsida "kas see muudatus aitas või kahjustas?" Need videod annavad sulle mängukava kahest nurgast: kontseptuaalse töövoo inimestelt, kes õpetavad evaluatsioone OpenAI ja Anthropicu PM-idele, ja 3-minutilise demo selle tegemisest konsoolis ilma koodita.

Esmane valik

1:46:33

Miks AI evaluatsioonid on toote-ehitajatele kuumim uus oskus | Hamel Husain ja Shreya Shankar

Lenny's Podcast

Hamel Husain ja Shreya Shankar käivad läbi terve evaluatsiooni-töövoo päris kinnisvarahalduse AI-assistendi peal — jälgede vaatamine, vigade avatud ja teljeline kodeerimine, otsustamine, millal lõpetada, LLM-as-judge ehitamine ja selle valideerimine inimese hinnangu vastu. See on haruldane pikem vestlus, mis on tõeliselt suunatud PM-idele ja tiimijuhtidele, mitte ML-inseneridele, ja katab sama "30 minutit nädalas pärast seadistust" rütmi, mida artikkel soovitab.

Mida sellest videost kaasa võtta: Saad otsustusraami teemal "Evaluatsioonid mitte-inseneridele" ning oskad hinnata mõju, riske ja rakendusvalikuid.

Mida enne vaadata või teada: Kasuks tuleb arusaam ettevõtte protsessidest, riskidest ja AI kasutusjuhtudest.

AI Experti märkus: Kontseptsioon on endiselt kasulik, kuid kontrolli näiteid praeguste tööriistadega enne päristöös kasutamist.

Ava video leht

Tasub samuti vaadata

03:20

Hinda AI-juhiseid Anthropic Console'is

Anthropic

Kolmeminutiline Anthropicu läbikäik päris evaluatsiooni jooksutamisest Workbenchi sees — realistlike testjuhtumite auto-genereerimine, väljundite hindamine, juhise muutmine ja sama komplekti uuesti kõrvuti jooksutamine. Vaatamiste arv jääb tavalisest piirist allapoole, aga "kuidas ma seda päriselt ilma koodi kirjutamata teen" jaoks on see puhtaim ametlik demo ja istub kenasti strateegilisema Husaini/Shankari vestluse alla.

Mida sellest videost kaasa võtta: Saad praktilise töövõtte teemal "Evaluatsioonid mitte-inseneridele" ja ühe kontrollitud katse oma töö jaoks.

Mida enne vaadata või teada: Kasuks tuleb põhiline ChatGPT või muu AI-tööriista kasutamise kogemus.

AI Experti märkus: Tööriista vaated, hinnastus ja tootenimed võivad olla muutunud. Keskendu töövoo mustrile ning kontrolli praegust kasutajaliidest ja seadeid enne päristöös kasutamist.

Ava video leht