Eval-arvioinnit muille kuin kehittäjille: tiedä, paraneeko vai heikkeneekö tekoälytyönkulkusi

Tekoälytyönkulku voi vaikuttaa muutamalla alkuperäisellä esimerkillä riittävältä ja epäonnistua myöhemmin erilaisilla syötteillä tai malli-, kehote-, haku-, työkalu- tai käytäntömuutoksen jälkeen. Jos syötteitä, tuotoksia, versioita ja hyväksymiskriteerejä ei säilytetä, tiimi ei pysty osoittamaan, mikä muuttui tai heikkenikö ehdokas.

Yksi yleinen syy on mittaamisen puute. Taustamalli, kehotteet, hakuaineisto, työkalut tai syötejakauma ovat voineet muuttua. Ilman säilytettyä lähtötasoa ja julkaisutarkistuksia tiimi voi huomata muutoksen vasta käyttäjien valittaessa.

Tarvittava toimintatapa on arviointi: tekoälytyönkulun järjestelmällinen mittaaminen täsmällisiä vaatimuksia vasten. Pieni tiimi voi aloittaa taulukkolaskennasta, kun käsin tehtävä suoritus on toistettava. Seurauksiltaan merkittävät tai suurivolyymiset järjestelmät voivat vaatia automatisoitua arviointia, tilastollista suunnittelua ja päteviä toimiala-arvioijia.

Tämä artikkeli kertoo, mitä eval-arvioinnit ovat, miksi niitä tarvitaan ja miten ne otetaan käyttöön missä tahansa tekoälytyönkulussa ilman insinööritaustaa.

Eval-arvioinnit eivät ole raportointiteatteria. Hyödyllinen arviointi johtaa päätökseen: julkaise, pidätä, palauta tai tutki. Jos pistemäärä ei voi muuttaa tiimin toimintaa, yksinkertaista arviointia, kunnes se voi.

Mitä eval-arvioinnit ovat (ja eivät ole)

Eval-arviointi mittaa tekoälyn tuloksen laatua järjestelmällisesti hallitsemiesi esimerkkien perusteella.

Osat:

• Tietoaineisto. Joukko syötteitä eli tekoälyn käsittelemiä asioita.
• Odotettu toiminta. Mitä tekoälyn halutaan tekevän syötteillä.
• Pisteytystapa. Miten oikea toiminta mitataan.
• Ajo/raportti. Käsittele aineisto, pisteytä jokainen tulos ja tee yhteenveto.

Tavoite on kysyä toistettavasti: ”tekeekö tekoäly haluamani asian odottamallani laatutasolla?” ja havaita vastauksen muuttuminen.

Eval-arvioinnit eivät ole:

• Kertaluonteista testausta rakentamisen aikana.
• Pistokokeita vasta ongelman ilmaannuttua.
• Käyttäjäpalautetta, joka on hyödyllistä mutta reaktiivista, hidasta ja vinoutunutta.
• Mututuntumaa siitä, että tulos vaikuttaa oikealta.

Todelliset arvioinnit suoritetaan aikataulutetusti määritellyllä syötejoukolla ja yhdenmukaisella pisteytyksellä. Ne antavat signaalin ilman valituksiakin.

Aloita yksinkertaisimmasta menetelmästä, joka säilyttää näytön

Kun haet ”LLM evals”, löydät Promptfoon, LangSmithin, Braintrustin ja Heliconen kaltaisia työkaluja. Ne voivat olla sopivia, kun tiimi tarvitsee automatisoituja ajoja, jäljityksiä, kokeiden vertailua tai CI-portteja.

Pienen volyymin käsin suoritettava työnkulku voi aloittaa versioidusta taulukosta, johon tallennetaan syötteet, tuotokset, luokitukset, arviointiperusteiden versiot ja katselmoijien päätökset.

Taulukkolaskenta voi tukea ensimmäistä arviointia, jos käyttöoikeudet on rajattu, rivit versioidaan, suoritus on toistettava ja pätevät ihmiset, ei kalibroimaton malliarvioija, omistavat vertailuluokitukset. Taulukko ei yksin osoita kattavuutta tai tuotantoturvallisuutta.

Neljä eval-arvioinnin mallia

Neljä yleistä mallia sopivat erityyppisiin työnkulkuihin.

Malli 1: täsmällinen vastaavuus

Käytä, kun oikeita vastauksia on yksi.

Esimerkkityönkulku: asiakastukipyyntöjen luokittelu 8 luokkaan.

Tietoaineisto: 50 tukipyyntöä oikeine luokkineen. Pisteytys: tekoälyn vastaus joko vastaa oikeaa luokkaa (1 piste) tai ei (0 pistettä). Tulos: oikein olevien osuus prosentteina.

Täsmällinen vastaavuus sopii vain tilanteisiin, joissa vaaditaan yksi kanoninen esitysmuoto. Normalisoi sallitut muotoerot äläkä käytä sitä semanttisen tai toimiala-oikeellisuuden korvikkeena.

Malli 2: vertailu referenssiin

Käytä, kun vertailuun on tunnettu hyvä vastaus.

Esimerkkityönkulku: tuotekuvausten luonnostelu.

Tietoaineisto: 30 tuotetta ja itse kirjoittamasi referenssikuvaukset. Pisteytys: kuinka lähellä tekoälyn kuvaus on referenssiä esimerkiksi tarkkuudessa, äänensävyssä ja kattavuudessa?

Voit pisteyttää käsin asteikolla 1-5 tai käyttää seuraavan mallin LLM-arvioijaa. Vertailuvastaus on hyödyllinen vain, jos se on oikea, ajantasainen ja edustava eikä sitä käsitellä ainoana sallittuna sanamuotona.

Malli 3: LLM arvioijana

Käytä, kun hyväksyttäviä tulosmuotoja on monta mutta laatua voidaan arvioida.

Esimerkkityönkulku: personoitujen myyntisähköpostien tuottaminen.

Tietoaineisto: 30 potentiaalisen asiakkaan profiilia. Pisteytys: LLM toimii arvioijana ja pisteyttää syötteen ja tuloksen täsmällisyyden, ammattimaisuuden, pituuden ja äänensävyn.

LLM-arvioija on tehokas mutta vaatii huolellisen kehotteen. Yleinen malli:

Arvioit myyntisähköpostin laatua. Pisteytä se näillä ulottuvuuksilla:

1. Täsmällisyys (1-5): Viittaako se potentiaalista asiakasta koskeviin konkreettisiin tietoihin eikä yleiseen imarteluun?
2. Ammattimaisuus (1-5): Kuulostaako se vertaiselta eikä roskapostilta?
3. Pituuden osuvuus (1-5): Onko se ytimekäs (40-80 sanaa)?
4. Äänensävyn osuvuus (1-5): Vastaako se äänensävyämme (suora, ei muotitermejä)?

Anna jokaisesta ulottuvuudesta pisteet ja yhden virkkeen perustelu.

Tuota JSON: {"specificity": {"score": N, "reason": "..."}, ...}

Potentiaalisen asiakkaan profiili: [syöte]
Arvioitava sähköposti: [tuotos]

LLM-arvioija soveltaa samaa mallia ja arviointiperustetta toistuvasti, mutta se voi olla vinoutunut, paikkaherkkä, ajojen välillä epäjohdonmukainen tai väärässä samalla tavalla kuin arvioitava malli. Tarkistamaton arvioija on vain tuntemattoman laatuinen toinen mielipide. Kalibroi se pätevien ihmisten luokituksiin ja seuraa sitä jatkuvasti OpenAI:n arviointiohjeen ja Anthropicin arviointiohjeen yleisen toimintatavan mukaisesti:

1. Luo edustava ihmisten luokittelema aineisto. Käytä todellisia katselmointijonon tapauksia, kata tärkeät luokat ja rajatapaukset, pidä kalibrointi erillään lopullisesta arvioinnista ja kirjaa, kuka oli pätevä arvioimaan kunkin ulottuvuuden.
2. Aja arvioija samalla aineistolla ja tutki jokainen erimielisyys. Raportoi sekaannusmatriisi tai pistekohtainen yhtäpitävyys yhden keskiarvon sijasta. Ero voi johtua arviointiperusteesta, ihmisen luokituksesta tai malliarvioijasta. Tutki syy äläkä oleta, kumpi epäonnistui.
3. Painota virheen suuntaa ja seurausta. Haitallisen tuotoksen hyväksyvä arvioija voi olla kelvoton korkeasta keskimääräisestä yhtäpitävyydestä huolimatta. Aseta julkaisukriteerit väärien hyväksyntöjen ja hylkäysten kustannuksen perusteella.
4. Kalibroi uudelleen jokaisen olennaisen muutoksen jälkeen. Tällaisia ovat arvioijamallin tai version, kehotteen, arviointiperusteen, kielen, syötejakauman ja käytännön muutokset. Määritä otoskoko luokkien yleisyyden ja tarvitsemasi varmuuden mukaan; yksi kiinteä esimerkkimäärä ei ole yleispätevä.

Älä käytä LLM-arvioijaa ainoana julkaisuporttina lääketieteellisissä, juridisissa, säännellyissä rahoitusalan, lastenturvallisuuden, rakentamisen tai muissa seurauksiltaan vakavissa tuotoksissa. Ne vaativat päteviä toimiala-arvioijia ja riskiin suhteutettua validointia.

Malli 4: ominaisuustarkistus

Käytä, kun ”hyvä” voidaan ilmaista täsmällisinä testattavina ominaisuuksina.

Esimerkkityönkulku: verkkokaupan tuoteotsikoiden tuottaminen.

Tietoaineisto: 50 tuotetta. Jokaisesta tuloksesta tarkistetaan:

• Pituus on 30-70 merkkiä.
• Sisältää tuotemerkin.
• Sisältää vähintään yhden tuotteen keskeisen ominaisuuden.
• Ei käytä kiellettyjä markkinointisanoja (”amazing”, ”best”, ”revolutionary”).

Kukin ominaisuus on kyllä/ei-testi. Pisteet = kaikkien tulosten läpäisseiden ominaisuuksien prosenttiosuus.

Ominaisuustarkistukset sopivat eksplisiittisesti koodattuihin rajoitteisiin. Niiden läpäiseminen ei kerro mitään vaatimuksista, joita ei ole koodattu, joten yhdistä ne riskianalyysin edellyttämiin muihin tarkistuksiin.

Ensimmäisen eval-arvioinnin rakentaminen

Käytännöllinen kokoonpano muille kuin kehittäjille:

Vaihe 1: valitse työnkulku

Valitse yksi työnkulku, älä arvioi kaikkea kerralla. Valitse se, jonka laadusta olet eniten huolissasi tai jolla on suurimmat seuraukset.

Esimerkki: tekoäly luokittelee saapuvat asiakastukipyynnöt aiheen mukaan.

Vaihe 2: rakenna tietoaineisto

Luo 20-50 edustavaa esimerkkiä. Sisällytä:

• Helpot tapaukset, jotka kuuluvat selvästi luokkaan A.
• Vaikeat tapaukset, jotka voivat olla A tai B.
• Rajatapaukset, jotka eivät sovi siististi mihinkään.
• Yleiset vaihtelut eli saman tarkoituksen eri ilmaisut.

Tallenna taulukkoon tai Google Sheetiin:

Tämä on arviointiaineistosi. Sen ei pidä muuttua usein, sillä tarkoitus on toimia vakaana referenssinä.

Vaihe 3: määritä pisteytys

Mikä on oikea vastaus kussakin esimerkissä? Ole täsmällinen.

Luokittelussa: luokan täsmällinen vastaavuus. Sisällössä: pisteet 1-5 kullakin 2-4 nimetystä ulottuvuudesta. Poiminnassa: jokainen kenttä oikein/väärin.

Kirjoita arviointikriteerit muistiin ja noudata niitä.

Vaihe 4: suorita työnkulku aineistolla

Suorita tekoälytyönkulku jokaiselle esimerkille ja tallenna tulos uuteen sarakkeeseen.

Luokittelun voi tehdä taulukossa Google Sheetsin GPT-integraatiolla tai kopioimalla käsin.

Monimutkaisemmat työnkulut voi ajaa Promptfoolla tai kerran viikossa eräajona.

Vaihe 5: pisteytä

Täsmällisessä vastaavuudessa lisää ”match”-sarake ja anna arvo 1 silloin, kun odotettu = todellinen; muussa tapauksessa anna arvo 0 ennen summan laskemista. Summa on tarkkuus.

LLM-arvioinnissa suorita arviointikehote jokaiselle tulokselle ja tallenna pisteet.

Ominaisuustarkistuksessa suorita kukin ominaisuus erillisenä testinä ja yhdistä tulokset.

Esimerkkituloskortti

Tämä on havainnollistava rakenne. Korvaa kynnysarvot riskistä johdetuilla julkaisukriteereillä ja suunnittele otos niiden virheluokkien mukaan, jotka sinun on havaittava.

Tuloskortissa pitää nimetä omistaja ja julkaisusääntö. ”Alle 90 % oikeellisuus vaatii tuoteomistajan tarkistuksen” on vahvempi kuin ”seuraa oikeellisuutta”.

Vaihe 6: tee yhteenveto

Yhteenvetotaulukko:

Ajan myötä näet laatukehityksen. Pudotus käynnistää tutkimuksen.

Vaihe 7: aikatauluta

Sido arviointiväli tehtävien määrään, malli- ja kehotemuutoksiin, häiriöihin sekä syötejakauman muutoksiin. Suorita asianmukainen julkaisuarviointi ennen jokaisen muutoksen käyttöönottoa.

Nimeä omistaja ja varaa riittävästi aikaa yksittäisten virheiden tarkasteluun pelkän kokonaispistemäärän kirjaamisen sijasta.

Artikkeliin liitetty tuloskortti on suunniteltu ensimmäiseen viikkoajoon.

Lisää julkaisuportti

Eval-arvioinneilla on eniten arvoa muutoksen edessä. Käytä asiakkaisiin, operatiivisiin tietoihin tai tiimin päätöksiin vaikuttavissa työnkuluissa pientä julkaisuporttia:

1. Lähtötaso. Nykyisellä tuotantotyönkululla on kirjattu pistemäärä.
2. Ehdokas. Uusi kehote, malli, työkalu tai työnkulkuvaihe ajetaan samalla aineistolla.
3. Vertailu. Ehdokkaan pitää säilyttää turvallisuus- ja regressiopisteet eikä se saa heikentää ensisijaista laatupistettä sovittua toleranssia enempää.
4. Päätös. Julkaise, pidätä, muokkaa tai palauta. Kirjaa syy.
5. Julkaisun jälkitarkistus. Suorita uudelleen pienellä oikeiden tapausten otoksella julkaisun jälkeen.

Tätä ei tarvitse automatisoida ensimmäisenä päivänä. Taulukko ja nimetty hyväksyjä riittävät, jos ne estävät mittaamattomien muutosten julkaisemisen johdonmukaisesti.

Mitä tehdä pisteiden laskiessa

Eval-arviointien tarkoitus on havaita laadun heikkeneminen. Kun niin käy, tutki.

Yksinkertainen tutkimus:

Vaihe 1: Tunnista epäonnistuneet tapaukset. Mikä meni täsmällisesti väärin?

Vaihe 2: Etsi malleja. Ryhmittyvätkö virheet samankaltaisiin syötteisiin vai ovatko ne hajallaan?

Vaihe 3: Tee diagnoosi.

• Ryhmittynyt → todennäköisesti täsmällinen heikkous, kuten kehoteongelma tai puuttuva tieto.
• Hajallaan → todennäköisesti yleinen laadun lasku, kuten mallimuutos tai ajautuminen.

Vaihe 4: Muodosta syyhypoteesi.

• Muuttuiko taustamalli? Tarkista palveluntarjoajan muutosloki.
• Muuttuiko kehote? Palauta ja testaa.
• Muuttuiko syötejakauma? Tarkastele tuoretta todellista dataa.
• Vanhentuiko tietoaineisto? Päivitä esimerkit.

Vaihe 5: Testaa korjaus. Tee yksi muutos ja suorita arviointi uudelleen. Palautuiko tulos?

Järjestelmällinen lähestymistapa voittaa paniikin ja arvailun.

Tietoaineiston kehittäminen ajan myötä

Alkuperäinen aineisto on lähtökohta. Paranna sitä:

Lisää todellisia virhetapauksia. Kun todellinen käyttäjätapaus tuottaa huonon tuloksen, lisää se aineistoon regressiotestiksi.

Karsi vanhentuneet tapaukset. Poista työnkulun kehittyessä merkityksettömät testit.

Laajenna kattavuutta. Jos aineistossa on 20 ”account-access”-tukipyyntöä ja 1 ”billing”-pyyntö, painotus on väärä. Tasapainota.

Lisää rajatapauksia löytymisen mukaan. Uudet valitusmallit, tuoteominaisuudet ja luokat.

Hyvä arviointiaineisto elää ja vastaa nykyistä todellisuutta. Säilytä tarvittaessa vakaa vertailujoukko, lisää uudet syötteet ja tunnetut virheet hallitusti, versioi jokainen aineisto ja raportoi tulokset version mukaan. Näin kattavuus voi kehittyä ilman, että eri aineistojen pistemääriä esitetään suoraan vertailukelpoisina.

Yleiset virheet

Eval-ohjelmia rikkovia malleja:

Virhe 1: Kaiken arvioinnin lykkääminen täydellistä kokonaisuutta odotettaessa. Aloita pienimmästä aineistosta, joka kattaa olennaiset normaali- ja virhepolut, kirjaa puuttuva kattavuus ja laajenna riskien sekä havaittujen virheiden perusteella.

Virhe 2: Vain helppojen tapausten arviointi. Sisällytä vaikeat, raja- ja aiemmin epäonnistuneet tapaukset.

Virhe 3: Versioimaton arviointiaineiston ajautuminen. Säilytä tarpeen mukaan vakaa vertailujoukko, mutta lisää uudet syötteet ja tunnetut virheet tarkoituksellisesti. Versioi jokainen aineisto ja raportoi tulokset version mukaan.

Virhe 4: LLM-arvioijaan sokea luottaminen. Malliarvioijat painottavat helposti pintapiirteitä, kuten pituutta ja muotoa. Kalibroi ne säännöllisesti ihmisten arvioihin. Erimielisyys voi johtua arvioijasta, arviointiperusteesta tai ihmisen luokituksesta, joten tutki syy.

Virhe 5: Pisteytys ilman toimintaa. Viikoittainen arviointi ilman datan perusteella toimimista on teatteria. Pudotuksen pitää käynnistää tutkimus.

Virhe 6: Vain yhden ulottuvuuden arviointi. 95 % tarkkuus ei kerro laadun, vasteajan tai hallusinaatioasteen muutoksista. Seuraa olennaisia ulottuvuuksia.

Hyödylliset mutta vapaaehtoiset työkalut

Kun haluat siirtyä taulukoista eteenpäin:

Promptfoo. Avoimen lähdekoodin, YAMLilla määritettävä ja kannettavassa tai CI:ssä ajettava. Erinomainen kehotteiden testaukseen ja vertailuun.

Braintrust. Isännöity arviointialusta hyvällä käyttöliittymällä. Kalliimpi mutta tehokas.

LangSmith. Sidottu LangChain-työnkulkuihin; hyvä kyseisessä ekosysteemissä.

Helicone. LLM-kutsujen lokitus ja analytiikka arviointiominaisuuksilla.

OpenAI Evals. Avoimen lähdekoodin ja kehittäjäpainotteisempi sovelluskehys.

Valitse työkalut vaatimusten mukaan: tietojen sijainti, käyttöoikeudet, jäljitysten tallennus, palveluntarjoajatuki, toistettavuus, CI-integraatio, katselmointityönkulku ja kustannus. Taulukko voi riittää pieneen käsin tehtävään pilottiin. Sovelluskehys tai isännöity alusta voi olla perusteltu, kun vaatimukset ylittävät sen.

Esimerkkijärjestys arvioinnille

Järjestys on kalenteria tärkeämpi. Määritä ajoitus ja otoskoko tehtävien yleisyyden, katselmointikapasiteetin ja havaittavan virheosuuden perusteella:

Määritä.

• Valitse yksi työnkulku.
• Rakenna päätöksen tarpeisiin mitoitettu edustava aineisto ja kirjaa puuttuvat luokat.
• Määritä pisteytys: täsmällinen vastaavuus, LLM-arvioija tai ominaisuudet.

Muodosta lähtötaso.

• Suorita arviointi ja kirjaa lähtötaso.
• Tunnista ilmeiset virheet.
• Älä vielä muuta, vaan havainnoi.

Vertaa yhtä hallittua muutosta.

• Tee yksi laatua mahdollisesti parantava muutos.
• Suorita arviointi uudelleen.
• Nousiko, laskiko vai säilyikö pistemäärä? Tutki syy.

Vie osaksi toimintaa.

• Aikatauluta ajot julkaisujen ja riskiin sopivan seurantavälin mukaan.
• Dokumentoi arviointiprosessi.
• Kerro tiimille, mitä pisteet tarkoittavat ja mikä käynnistää toiminnan.

Arviointi on hyödyllinen vain, kun se tuottaa toistettavaa näyttöä päätöksen tueksi. Laajenna kattavuutta ja työkaluja, kun havaitut virheet tai operatiiviset vaatimukset perustelevat sen.

Kulttuurimuutos

Eval-arviointi vaatii enemmän kulttuurista kuin teknistä muutosta. ”Näyttää toimivan” -perusteella julkaisevien tiimien pitää hyväksyä mittaus.

Muutos sisältää:

Valmiuden nähdä lukujen laskevan. Muutos voi heikentää mitattua ulottuvuutta. Tutki tapaukset, epävarmuus ja aineistoversio ja pidätä tai palauta muutos, jos julkaisusääntö ei täyty.

Panostuksen kalibrointiin. Varaa katselmoijien aikaa aineiston, arviointiperusteen ja malliarvioijan kalibroinnin kehittämiseen. Älä oleta yhtä kiinteää käyttöönottoaikaa.

Ennen/jälkeen-tavan rakentamisen. Jokainen merkittävä työnkulkumuutos kulkee arvioinnin kautta ennen tuotantoa.

Laatutason puolustamisen. Pisteiden laskiessa korjaa tai palauta. Älä julkaise heikentynyttä laatua määräajan vuoksi.

Sekä organisaatiotyö että työkalut tarvitsevat omistajan. Kumpikaan ei ole automaattisesti helppo, ja niiden painotus riippuu työnkulusta.

Aloita rajatusti ja ansaitse laajempi kattavuus

Arvioinnit tuottavat näyttöä määritellyistä tapauksista tietyllä ajanhetkellä. Ne vähentävät katvealueita, mutta eivät yksin tee työnkulusta luotettavaa eivätkä havaitse kaikkea ajautumista.

Matalan riskin käsin tehtävän pilotin voi aloittaa ilman erikoisinfrastruktuuria. Tilastolliset väitteet, automatisoidut julkaisujärjestelmät ja seurauksiltaan vakavat toimialat vaativat niitä vastaavaa teknistä, mittaus- ja toimialaosaamista.

Valitse yksi rajattu työnkulku. Määritä päätös, jota arvioinnin on tuettava, kokoa edustavat esimerkit, suorita arviointi toistettavasti, tarkasta yksittäiset virheet ja kirjaa näytön rajat.

Paranemista ei voi luvata. Versioitu arviointi tekee näkyväksi, muuttuiko ehdokkaan mitattu laatu, turvallisuus, kustannus tai viive, ja antaa perusteen pidättää tai palauttaa muutos, kun näyttö ei riitä.