Hindamised mitte-inseneridele: tea, kas sinu AI-töövoog läheb paremaks või halvemaks

Siin on muster, mida me pidevalt näeme. Tiim ehitab AI-töövoo — sisuloomise mustandid, klienditoe klassifikatsioon, müügikirjade genereerimine, mida iganes. See töötab esimesel nädalal hästi. Tiim on rõõmus. Nad lasevad selle välja.

Kolm kuud hiljem tundub midagi veidi nihu. Väljundi kvaliteet näib halvemana. Kliendid kurdavad. Esindajad lõpetavad selle kasutamise. Keegi ei tea, millal see muutus või miks.

Põhjus on peaaegu alati sama: keegi ei mõõtnud. Töövoog, mis töötas esimesel nädalal, võis järk-järgult degradeeruda või muutus aluseks olev mudel või triivisid promptid või nihkus sisendi jaotus. Mõõtmiseta sa seda ei püüa kinni, kuni kasutajad kurdavad — ja selleks ajaks oled usalduse kaotanud.

Lahendus on hindamised — AI-väljundi kvaliteedi süsteemne mõõtmine. Hindamisi käsitletakse tavaliselt inseneride mureks, kuid iga AI-töövooge jooksutav tiim vajab neid. Ja põhitõed on koodita kättesaadavad.

See artikkel käsitleb, mis on hindamised, miks need on olulised ja kuidas neid mis tahes AI-töövoo jaoks ilma insenerita üles seada.

Hindamised ei ole aruandlusteater. Kasulik hindamine loob otsuse: saada välja, hoia tagasi, pööra tagasi või uuri. Kui skoor ei saa muuta seda, mida tiim teeb, lihtsusta hindamist seni, kuni saab.

Mis on hindamised (ja mis pole)

Hindamine on viis süsteemselt mõõta, kui hea sinu AI väljund on, sinu kontrollitud näidete vastu.

Komponendid:

• Andmestik. Sisendite kogum (asjad, mida sinu AI töötleb).
• Oodatav käitumine. Mida sa tahad, et AI nende sisenditega teeks.
• Skoorimismeetod. Kuidas sa mõõdad, kas AI tegi seda õigesti.
• Jooks/aruanne. Töötle andmestikku, skoori iga väljund, võta tulemus kokku.

Mõte on omada korratavat viisi küsimaks: „kas AI teeb seda, mida ma tahan, kvaliteediga, mida ootan?" — ja märgata, kui vastus muutub.

Hindamised ei ole:

• Ühekordne testimine algse ehituse ajal.
• Pilkupiidlemine, kui midagi tundub nihu.
• Kasutajate tagasiside (mis on kasulik, aga reaktiivne, aeglane ja kallutatud).
• Tunnetus („väljund tundub õige").

Päris hindamised jooksevad ajakavas, defineeritud sisendite hulga vastu, järjepideva skoorimisega. Need annavad sulle signaali ka siis, kui keegi ei kurda.

Miks „inseneride tööriistad" on enamikule tiimidele valed

Kui sa googeldad „LLM evals", saad artikleid tööriistadest nagu Promptfoo, LangSmith, Braintrust, Helicone. Need on suurepärased. Need on ka mõeldud inseneridele, kes saadavad mastaabis välja LLM-toega tooteid.

Enamikule AI-töövooge jooksutavatele tiimidele — turundus, müük, operatsioonid, tugi — on need tööriistad ülepingutus. Sul on vaja midagi lihtsamat: viisi oma konkreetse töövoo mõõtmiseks ilma tööriistastikku õppimata.

Hea uudis: tabeli ja LLM-iga saad sa seda teha. Mitte LangSmithi keerukusega, aga piisavalt, et enamik kvaliteediprobleeme kinni püüda.

Neli hindamismustrit

On neli tavalist hindamismustrit. Iga sobib erinevat tüüpi töövoole.

Muster 1: täpne vaste

Kasuta, kui on üks õige vastus.

Näide-töövoog: klienditoe piletite klassifitseerimine 8 kategooriasse.

Andmestik: 50 piletit nende õige kategooriaga. Skoorimine: AI vastus kas vastab õigele kategooriale (1 punkt) või mitte (0 punkti). Väljund: % õige.

See töötab hästi klassifitseerimise, ekstraktimise, lihtsate struktureeritud väljundite jaoks.

Muster 2: võrdlus etalonile

Kasuta, kui on teadaolev hea vastus, millega võrrelda.

Näide-töövoog: tootekirjelduste mustandite koostamine.

Andmestik: 30 toodet sinu kirjutatud „etalonkirjeldustega". Skoorimine: kui lähedal on AI kirjeldus etalonile sellistel dimensioonidel nagu täpsus, toon, terviklikkus?

Sa võid seda skoorida käsitsi (inimene loeb mõlemat ja skoorib 1–5) või LLM-kohtunikuga (järgmine muster). Etalonile võrdlus on sisutöövoogude jaoks kuldne standard.

Muster 3: LLM kohtunikuna

Kasuta, kui väljundil on palju kehtivaid vorme, aga kvaliteet on hinnatav.

Näide-töövoog: personaliseeritud müügikirjade genereerimine.

Andmestik: 30 potentsiaalse kliendi profiili. Skoorimine: LLM toimib kohtunikuna — sisendi ja väljundi põhjal skoorib selliseid dimensioone nagu spetsiifilisus, professionaalsus, pikkus, hääle sobivus.

LLM kohtunikuna on võimas, kuid nõuab hoolikat prompti disaini. Tavaline muster:

Sa hindad müügikirja kvaliteeti. Skoori seda nendel dimensioonidel:

1. Spetsiifilisus (1-5): Kas see viitab konkreetsetele faktidele potentsiaalse kliendi kohta, mitte üldisele meelitusele?
2. Professionaalsus (1-5): Kas see kõlab kolleegina, mitte rämpspostina?
3. Pikkuse sobivus (1-5): Kas see on ülevaatlik (40-80 sõna)?
4. Hääle sobivus (1-5): Kas see vastab meie häälele (otsekohene, ilma moeväljenditeta)?

Iga dimensiooni jaoks anna skoor ja ühe lause põhjendus.

Väljasta JSON: {"specificity": {"score": N, "reason": "..."}, ...}

Potentsiaalse kliendi profiil: [sisend]
Hinnatav kiri: [väljund]

Kohtunik-LLM pakub järjepidevust, mida inimülevaatajad ei suuda (üks kohtunikumudel, üks prompt, rakendatuna ühtlaselt). Kalibreeri seda inimese hinnangu vastu, et veenduda, et ta nõustub sinuga oluliste mustrite osas.

Muster 4: omaduste kontroll

Kasuta, kui sa saad väljendada, mida „hea" tähendab, konkreetsete testitavate omadustena.

Näide-töövoog: tootepealkirjade genereerimine e-poele.

Andmestik: 50 toodet. Omadused, mida iga väljundi kohta kontrollida:

• Pikkus on 30–70 tähemärki.
• Sisaldab brändinime.
• Sisaldab vähemalt ühte toote võtmeomadust.
• Ei kasuta keelatud turundussõnu („hämmastav", „parim", „revolutsiooniline").

Iga omadus on jah/ei test. Skoor = % läbinud omadusi üle kõigi väljundite.

Omaduste kontrollid on suurepärased struktureeritud piirangute jaoks, mis peaksid alati kehtima. Need jooksevad kiiresti ja püüavad konkreetse triivi kinni.

Kuidas oma esimene hindamine üles seada

Praktiline, mitte-insenerile sõbralik seadistus:

Samm 1: vali töövoog

Vali üks töövoog. Ära proovi kõike korraga hinnata. Vali see, mille kvaliteedi pärast sa kõige rohkem muretsed, või see, millel on suurimad tagajärjed.

Näide: „AI, mis klassifitseerib sissetulevaid klienditoe pileteid teema järgi".

Samm 2: ehita andmestik

Loo 20–50 esindusliku näite nimekiri. Lisa:

• Lihtsad juhtumid (selgelt kategooria A).
• Rasked juhtumid (võib olla A või B).
• Piirjuhtumid (ei sobi ühegi kategooriaga puhtalt).
• Tavalised variatsioonid (sama kavatsuse erinev sõnastus).

Salvesta need tabelisse või Google Sheetsi:

| ID | Sisend | Oodatav väljund | |----|-------|-----------------| | 1 | „Mu parool ei tööta" | „account-access" | | 2 | „Tahan oma tellimuse tühistada" | „billing" | | 3 | „Teie viimane uuendus lõhkus mu töövoo" | „bug" | | ... | ... | ... |

See andmestik on sinu hindamise hulk. See ei tohiks tihti muutuda — selle eesmärk on olla stabiilne viide.

Samm 3: defineeri skoorimine

Iga näite jaoks, mis loeb õigeks vastuseks? Ole täpne.

Klassifitseerimise jaoks: täpne vaste kategooriale. Sisu jaoks: 1–5 skoor 2–4 nimetatud dimensiooni jaoks. Ekstraktimise jaoks: iga väli õige/vale.

Kirjuta skoorimisrubriik üles. Pea sellest kinni.

Samm 4: jookseta töövoogu andmestiku peal

Jookseta oma AI-töövoogu iga näite peal andmestikus. Salvesta väljund uude veergu.

Klassifitseerimise jaoks saad seda teha tabelis funktsiooniga nagu Google Sheetsi GPT-integratsioon või käsitsi kleepides-kopeerides.

Keerukamate töövoogude jaoks tõsta sisendid sellisesse tööriista nagu Promptfoo või jookseta lihtsalt korra nädalas partiitöö.

| ID | Sisend | Oodatav | Tegelik | |----|-------|----------|--------| | 1 | ... | „account-access" | „account-access" | | 2 | ... | „billing" | „billing" | | 3 | ... | „bug" | „feature-request" | | ... | ... | ... | ... |

Samm 5: skoori

Täpse vaste jaoks: lisa veerg „match" 1-ga, kui Oodatav = Tegelik, muidu 0. Liida kokku: see on sinu täpsus.

LLM kohtunikuna jaoks: jookseta iga väljundi jaoks kohtunikuprompti. Salvesta skoorid.

Omaduste kontrolli jaoks: jookseta iga omadust eraldi testina. Agregeeri.

Minimaalne kasutatav skoorikaart

Esimese hindamise jaoks jälgi vähem dimensioone, kuid tee igaüks tegevuseks sobivaks.

| Dimensioon | Küsimus | Läbimise lävi | Tegevus, kui alla läve | | --- | --- | --- | --- | | Õigsus | Kas töövoog tootis õige vastuse või klassifikatsiooni? | 90% | Vaata ebaõnnestumised enne väljalaset üle | | Ohutus | Kas see vältis keelatud sisu, põhjendamata väiteid või riskantseid tegevusi? | 100% | Blokeeri väljalase | | Vorming | Kas see tagastas oodatud struktuuri? | 95% | Paranda prompti/skeemiat enne väljalaset | | Kasulikkus | Kas kasutaja aktsepteeriks seda väljundit mõistlikult? | 4/5 keskmine | Muuda näiteid või juhiseid | | Regressioon | Kas varasemad teadaolevad ebaõnnestumised jäid parandatuks? | 100% | Blokeeri väljalase |

Skoorikaart peaks nimetama omaniku ja väljalaskereegli. „Alla 90% õigsust tähendab tooteomaniku ülevaatust" on tugevam kui „jälgime õigsust".

Samm 6: võta kokku

Kokkuvõttetabel nagu:

| Hindamise kuupäev | Skoor | Märkused | |-----------|-------|-------| | 2026-05-01 | 47/50 (94%) | Põhitase. 3 viga: piletid 8, 23, 41. | | 2026-05-08 | 46/50 (92%) | Stabiilne. 4 viga. | | 2026-05-15 | 44/50 (88%) | Langes. Uued vead piletitel 12, 35. |

Aja jooksul annab see sulle kvaliteeditrajektoori. Langused käivitavad uurimise.

Samm 7: graafiku panemine

Jookseta hindamist regulaarses graafikus. Iganädalane on enamikule töövoogudele piisav. Pärast mis tahes muutust promptides või mudelis jookseta enne juurutamist.

30-minutiline iganädalane harjumus. Sea korduv kalendriplokk. Ära jäta vahele.

Selle artikliga seotud skoorikaart on mõeldud just selleks esimeseks iganädalaseks jooksuks.

Lisa väljalaskekontroll

Hindamised on kõige väärtuslikumad siis, kui need seisavad muudatuse ees. Iga AI-töövoo puhul, mis puudutab kliente, tegevusandmeid või tiimi otsuseid, kasuta väikest väljalaskekontrolli:

1. Põhitase. Praegusel tootmises oleval töövoogul on salvestatud skoor.
2. Kandidaat. Uus prompt, mudel, tööriist või töövoosamm jooksutatakse sama hindamishulga vastu.
3. Võrdlus. Kandidaat peab säilitama ohutuse ja regressiooni skoorid ega tohi vähendada peamist kvaliteediskoori üle kokkulepitud tolerantsi.
4. Otsus. Saada välja, hoia tagasi, paranda või pööra tagasi. Salvesta põhjus.
5. Järelkontroll. Jooksuta pärast avaldamist väikesel pärisjuhtumite valimil uuesti.

See ei pea esimesel päeval automatiseeritud olema. Nimetatud kinnitajaga tabelist piisab, kui see järjepidevalt takistab mõõtmata muudatustel tootmisesse jõudmist.

Mida teha, kui skoorid langevad

Hindamiste mõte on kinni püüda kvaliteedikadu. Kui see juhtub, sa uurid.

Lihtne uurimine:

Samm 1: tuvasta ebaõnnestunud juhtumid. Mis täpselt valesti läks?

Samm 2: otsi mustreid. Kas vead on kobaras (sarnased sisendid)? Või laiali (erinevat tüüpi sisendid)?

Samm 3: diagnoosi.

• Muster → tõenäoliselt konkreetne nõrkus (prompti probleem, puuduvad teadmised).
• Laiali → tõenäoliselt üldine kvaliteedilangus (mudelimuutus, triivi).

Samm 4: hüpoteesi põhjust.

• Kas aluseks olev mudel muutus hiljuti? Kontrolli pakkuja muudatuste logi.
• Kas prompt muutus hiljuti? Mine tagasi ja testi.
• Kas sisendi jaotus muutus? Vaata hiljutisi reaalseid andmeid.
• Kas andmestik vananes? Värskenda näiteid.

Samm 5: testi paranduse. Tee üks muudatus. Jookseta hindamine uuesti. Kas see taastus?

See süsteemne lähenemine võidab paanika ja arvamise.

Andmestiku ehitamine aja jooksul

Sinu esialgne andmestik on lähtepunkt. Paranda seda aja jooksul:

Lisades reaalseid ebaõnnestumise juhtumeid. Kui reaalse kliendi/kasutaja juhtum toodab halva väljundi, lisa see hindamise hulka. Nüüd on see regressioonitest — sa püüad selle konkreetse ebaõnnestumise kinni, kui see uuesti juhtub.

Vananenud juhtumite kärpimine. Kui sinu töövoog areneb, muutuvad mõned testijuhtumid asjakohatuteks. Eemalda need.

Katvuse laiendamine. Kui märkad, et sinu hindamise hulgas on 20 „account-access" piletit ja 1 „billing" pilet, on hindamine üleindekseeritud. Tasakaalusta.

Piirjuhtude lisamine, kui sa neid leiad. Uued kliendi kaebusmustrid, uued tootefunktsioonid, uued kategooriad.

Hea hindamise andmestik on elus — see peegeldab praegust reaalsust, mitte ajaloolist reaalsust.

Tavalised vead

Mõned mustrid, mis põhjustavad hindamisprogrammide ebaõnnestumist:

Viga 1: täiusliku hindamise ehitamine enne alustamist. 50-näiteline andmestik keerulise skoorimisega on hirmutav ehitada. 10-näiteline andmestik lihtsa skoorimisega on täna tehtav. Alusta väikselt. Itereeri.

Viga 2: ainult rõõmsa tee hindamine. Kõik lihtsad näited ei püüa reaalseid ebaõnnestumisi kinni. Lisa raskeid juhtumeid, piirjuhtumeid ja varem teadaolevaid ebaõnnestunud juhtumeid.

Viga 3: hindamise hulga triivi. Hindamise hulga uuendamine iga kord, kui töövoog muutub, muudab skoori mõttetuks. Hindamise hulk peaks muutuma harva; töövoog võib muutuda rohkem. Mõte on mõõta töövoogu, mitte hindamist.

Viga 4: usaldada LLM-kohtunikku pimesi. LLM-kohtunikel on kallutatused. Nad kaaluvad üle pinnaomadusi (pikkus, vorming). Kalibreeri kohtunikku regulaarselt inimese hinnangu vastu. Kui sa kohtunikuga ei nõustu, vajab kohtuniku prompt tööd.

Viga 5: skoor ilma tegevuseta. Hindamiste iganädalane jooksutamine, kuid andmete põhjal mitte tegutsemine, on teater. Mõte on püüda probleemid kinni ja parandada. Kui langus ei käivita uurimist, raiskad oma aega.

Viga 6: ainult ühe dimensiooni hindamine. „Minu hindamine näitab 95% täpsust!" — aga ehk on vastuse kvaliteet halvenenud või vastuseaeg aeglasem või hallutsineerimise määr kõrgem. Jälgi mitut dimensiooni seal, kus need loevad.

Tööriistad, mis aitavad (kuid pole nõutud)

Kui sa tahad tabelitest edasi liikuda, on mõned ligipääsetavad valikud:

Promptfoo. Avatud lähtekoodiga, YAML-i kaudu konfigureeritav, jookseb su sülearvutil või CI-s. Suurepärane promptide testimiseks ja võrdlemiseks.

Braintrust. Hostitud platvorm hindamistele toreda UI-ga. Kallim, kuid võimas.

LangSmith. Spetsiifiliselt seotud LangChaini töövoogudega; hea, kui kasutad seda ökosüsteemi.

Helicone. LLM-kõnede logimine ja analüütika, hindamisvõimekustega.

OpenAI Evals. Avatud lähtekoodiga raamistik, rohkem arendajatele suunatud.

Enamikule mitte-inseneri tiimidele on tabel + ChatGPT/Claude piisav. Promptfoo on lihtsaim „päris tööriist", kui tahad edasi liikuda.

4-nädalane hindamisprogramm

Nullist alustavale tiimile realistlik plaan:

Nädal 1: vali ja defineeri.

• Vali üks töövoog.
• Ehita 20-näiteline andmestik.
• Defineeri skoorimine (täpne vaste, LLM-kohtunik või omadused).

Nädal 2: esimene põhitase.

• Jookseta hindamine. Salvesta põhitaseme skoor.
• Tuvasta ilmsed ebaõnnestumised.
• Ära muuda veel midagi — lihtsalt vaatle.

Nädal 3: itereeri.

• Tee üks muudatus, mis sinu meelest parandab kvaliteeti.
• Jookseta hindamine uuesti.
• Kas skoor läks üles? Alla? Sama? Uuri, miks.

Nädal 4: graafiku panemine.

• Pane iganädalased jooksud graafikusse.
• Dokumenteeri hindamise protsess.
• Briifi tiim, mida skoorid tähendavad ja mis käivitab tegevuse.

Pärast 4 nädalat on sul töötav hindamine. Sealt edasi: laienda — lisa rohkem töövooge hindamisprogrammi, süvenda andmestikku, viimistle skoorimist.

Kultuuriline nihe

Hindamised nõuavad pigem kultuurilist kui tehnilist nihet. Tiimid, kes on harjunud AI-töövooge välja saatma „sest tundub töötavat", peavad mõõtmist omaks võtma.

Nihe hõlmab:

Olles valmis numbreid alla minna nägema. Mõnikord kahjustab muudatus, mille üle olid elevil, kvaliteeti. Hindamised räägivad sulle. Sa pead olema valmis tagasi tõmbuma.

Investeerima kalibreerimisse. Uue hindamise esimesel kuul oota, et kulutad aega häälestamisele — andmestik, skoorimine, promptid. See on investeering.

Ehitama „enne/pärast" harjumust. Iga ebatriviaalne muudatus AI-töövoos jookseb läbi hindamise enne, kui läheb ette. See muutub teiseks loomuseks.

Hoidma kvaliteedi joont. Kui skoorid langevad, sa parandad või tõmbud tagasi. Sa ei saada välja halvenenud kvaliteediga ainult tähtaegade pärast.

See kultuuriline nihe on raskem osa. Kui see on paigas, on tööriistastiku osa lihtne.

Kokkuvõte

Hindamised on erinevus AI-töövoogude vahel, mida võid aja jooksul usaldada, ja AI-töövoogude vahel, mis tasapisi märkamatult keskpärasusse triivivad.

Sa ei vaja insenere, ML-i ekspertiisi ega uhkeid tööriistu, et alustada. Sul on vaja mõõtmist väärt töövoogu, väikest andmestikku, skoorimismeetodit ja iganädalast pooltundi.

Vali sel nädalal üks töövoog. Ehita 20-näiteline hindamine. Jookseta. Vaata tulemust. Jookseta järgmisel nädalal uuesti. Pane tähele distsipliini, mille see ehitab.

Kuue kuu pärast on hindamistega tiimidel AI-töövood, mis on tegelikult paranenud. Ilma hindamisteta tiimidel on töövood, mis näevad samasugused välja kui 6 kuud tagasi — välja arvatud halvemana.