Kvaliteedihindamine, jälgitavus ja töökindlus

Hindamised mitte-inseneridele: tea, kas sinu AI-töövoog läheb paremaks või halvemaks

Hindamisi — AI-väljundi kvaliteedi süsteemset mõõtmist — käsitletakse tavaliselt inseneride mureks. Aga iga AI-töövooge jooksutav tiim vajab neid, ja põhitõed on koodita kättesaadavad. Kuidas-juhend.

13 min lugemist

Regressioone tuvastavate hindamiste koostamine

Enamik hindamiskomplekte näeb muljetavaldav välja, kuid jätab päris regressioonid vahele. Hindamiste ehitamine, mis püüab kinni seda, mis loeb, nõuab hoolikat andmestiku ehitamist, tundlikke mõõdikuid, kohtuniku kalibreerimist ja usaldusekultuuri. Mustrid meeskondadelt, kes seda õigesti teevad.

12 min lugemist

LLM-rakenduste vaadeldavus: päringujäljed, kulud, latentsus ja kvaliteeditriiv

Laienda tavalist jälgitavust mitmesammuliste jälgimisvoogude, atribuutitava kulu, prompti ja mudeli versioonide, hinnatud kvaliteedisignaalide, privaatsuskontrollide ja töökoormusest tulenevate hoiatustega.

Veel selles teemas

69 minutit

Agentide maastik - õppetunnid agentide tootmisse viimisest

MLOps.community. Prosuse AI asepresident ja AI-insener räägivad, mis päriselt katki läks, kui nad agente kontserni portfelliettevõtetes juurutasid: prompt injectioni pen-testid enne käikulaskmist, ohtlik kirjutamine, kui Jira agent inimliku lühistiili otsa komistas, aegunud kontekst, mille vastu agendid õpetati oma eeldusi välja näitama, ning varulahenduste disain, kus agendid liideti või suleti, kui need kognitiivset koormust lisasid. See on nagu artikli vearegister, mis mängitakse läbi elava postmortem'ina.

10 min lugemist

Tootmiskeskkonna AI veamustrid: mis pärast demot katki läheb

AI-süsteemid ebaõnnestuvad tavaliselt etteaimatavatel viisidel: hallutsinatsioon, aegunud kontekst, liigne nõustumine, prompt injection, ohtlik tööriistakasutus, skeemitriiv ja nõrgad varuplaanid. Tootmise veamustrite register tiimidele, kes päris töövooge käitavad.

11 min lugemist

Tükeldamine, ümberreastamine ja hübriidotsing: pane RAG päriselt tööle

Enamik RAG-rakendusi töötab halvasti, sest kolm põhiasja on valesti tehtud. Praktiline juhend dokumentide tükeldamiseks, tulemuste ümberreastamiseks ning märksõna- ja semantilise otsingu ühendamiseks — ilma et peaksid saama otsinguinseneriks.

107 minutit

Miks AI evaluatsioonid on toote-ehitajatele kuumim uus oskus | Hamel Husain ja Shreya Shankar

Lenny's Podcast. Hamel Husain ja Shreya Shankar käivad läbi terve evaluatsiooni-töövoo päris kinnisvarahalduse AI-assistendi peal — jälgede vaatamine, vigade avatud ja teljeline kodeerimine, otsustamine, millal lõpetada, LLM-as-judge ehitamine ja selle valideerimine inimese hinnangu vastu. See on haruldane pikem vestlus, mis on tõeliselt suunatud PM-idele ja tiimijuhtidele, mitte ML-inseneridele, ja katab sama "30 minutit nädalas pärast seadistust" rütmi, mida artikkel soovitab.

3 minutit

Hinda AI-juhiseid Anthropic Console'is

Anthropic. Kolmeminutiline Anthropicu läbikäik päris evaluatsiooni jooksutamisest Workbenchi sees — realistlike testjuhtumite auto-genereerimine, väljundite hindamine, juhise muutmine ja sama komplekti uuesti kõrvuti jooksutamine. Vaatamiste arv jääb tavalisest piirist allapoole, aga "kuidas ma seda päriselt ilma koodi kirjutamata teen" jaoks on see puhtaim ametlik demo ja istub kenasti strateegilisema Husaini/Shankari vestluse alla.

55 minutit

Kuidas süsteemselt seadistada LLM evaluatsioone (mõõdikud, ühiktestid, LLM-as-a-Judge)

Dave Ebbelaar. Töötav AI-insener käib läbi oma tegelikku evaluatsiooni-redelit — assert-stiili ühiktestid, referentsi-vabad mõõdikud, LLM-as-judge inimestega joondamine ja analüüsi/mõõtmise/parandamise silmus. Struktuur on videos lähim vaste artikli argumendile, et evaluatsioonid on regressioone püüdev süsteem, mitte edetabel.

19 minutit

Kuidas ehitada valdkonnaspetsiifilisi LLM-i hindamissüsteeme: Hamel Husain ja Emil Sedgh

AI Engineer. Hamel Husain ja Rechati CTO käivad läbi päris AI-toote taga oleva hindamissüsteemi: miks üldised valmis-evalid läbi kukuvad, kihiline ülesehitus assertidest, logitud jälgedest inimülevaatusega ja domeeneksperdiga joondatud LLM-kohtunikest ning kuidas töötav hindamissüsteem avab andmekureerimise ja peenhäälestuse. See on tootmise juhtumianalüüs artikli argumendile, et evalid on regressioone püüdev masinavärk, mitte edetabel.

9 minutit

LangSmith 10 minutiga

LangChain. LangChaini kaasasutaja tutvustab LLM-i päringujälgi, projekte ja andmestikke: tokenikulu, latentsust, veamäära, tagasiside koondamist ning ühe otsinguetapi detailvaadet. Video näitab visuaalselt, miks struktureeritud päringujäljed annavad rohkem teavet kui lihtne konsoolilogimine.

154 minutit

LLM-ide instrumenteerimine ja hindamine

Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase ja Shreya Shankar käsitlevad päringujälgi, logianalüüsi, mudelipõhist hindamist ning päris tootmisandmete ülevaatamise töökorraldust. Pikk loeng seob artikli jälgitavuse põhimõtted praktiliseks hindamis- ja tagasisidetsükliks.