Useimmat tiimit käyttävät ilmausta ”human in the loop” lohduttavana lauseena. Se kuulostaa turvalliselta ja vastuulliselta. Usein se tarkoittaa myös, ettei kukaan ole päättänyt, mitä ihminen todella tekee.
Ihminen voi hyväksyä toiminnon, tarkistaa otoksen, käsitellä poikkeuksia, auditoida jälkikäteen, kouluttaa työnkulkua korjauksilla tai omistaa liiketoimintapäätöksen. Nämä ovat eri malleja, joilla on erilaiset kustannukset, virhetilanteet ja henkilöstötarpeet.
Tämä artikkeli tarjoaa käytännöllisen päätösmallin oikean vaihtoehdon valintaan.
Ihmisen tarkistus on hallintakeino, ei koriste. Jos tarkistajalla ei ole selkeää toimivaltaa, aikavarausta, tarkistuslistaa ja pysäytyssääntöä, työnkulku on edelleen käytännössä automatisoitu.
Aloita seurauksesta
Älä aloita mallista vaan virheellisen tuloksen seurauksesta.
Kysy viisi kysymystä:
- Voiko tämä vaikuttaa asiakkaaseen, työntekijään, toimittajaan tai viranomaiseen?
- Voiko se lähettää, julkaista, poistaa, veloittaa, hyvittää tai muuttaa tietuetta?
- Voiko se paljastaa henkilökohtaisia, luottamuksellisia, taloudellisia, oikeudellisia tai terveyteen liittyviä tietoja?
- Olisiko väärää vastausta vaikea havaita jälkikäteen?
- Vahingoittaisiko virhe luottamusta, vaikka se olisi teknisesti peruttavissa?
Mitä useampaan vastaat kyllä, sitä täsmällisemmin ihmisen rooli pitää määrittää.
Malli 1: ihminen hyväksyy jokaisen toiminnon
Käytä tätä ulkoisissa, tuhoavissa, taloudellisissa, oikeudellisissa, HR:ään liittyvissä tai asiakkaalle näkyvissä toimissa.
Esimerkkejä:
- asiakassähköpostin lähettäminen,
- julkisen artikkelin julkaiseminen,
- hyvityksen maksaminen,
- tietueiden poistaminen,
- sopimuslausekkeen muuttaminen,
- työsuhdetta koskevan suosituksen tekeminen.
Malli valmistelee luonnoksen tai suosituksen. Ihminen hyväksyy, muokkaa tai hylkää sen. Lopullista toimintoa ei tehdä ennen kirjattua hyväksyntää.
Hyvä hyväksyntämalli sisältää:
- selkeän diff-näkymän tai esikatselun,
- käytetyn lähdenäytön,
- mallin luottamus- tai riskimerkinnät, jos niitä on,
- yhden napsautuksen hylkäyspolun,
- pakollisen perustelun korkean riskin työnkulun ohittamiselle,
- auditointilokin, jossa ovat tarkistaja, aikaleima ja lopullinen toiminto.
Tämä on kallein malli mutta oikea oletus seurauksellisille toimille.
Malli 2: ihminen tarkistaa poikkeukset
Käytä tätä, kun useimmat tapaukset ovat rutiinia mutta jotkin epäselviä tai riskialttiita.
Esimerkkejä:
- peruutuksen, oikeusuhan, tietoturvan tai laskutuksen mainitsevat tukipyynnöt,
- laskun tietojen poiminta vähäisellä luottamuksella tai puuttuvilla kentillä,
- liidin luokittelu, kun yrityksen koko tai tarkoitus on epäselvä,
- asiakirjan luokittelu, kun usea luokka täsmää.
Työnkulku hoitaa tavalliset tapaukset ja reitittää poikkeukset jonoon.
Poikkeusreititys tarvitsee täsmälliset säännöt. Pelkkä ”vähäinen luottamus” on yleensä liian epämääräinen. Parempia laukaisimia:
- pakollisia kenttiä puuttuu,
- poimitut arvot ovat ristiriidassa,
- kieli ei ole tuettu,
- asiakirjatyyppiä ei tunnisteta,
- asiakkaan tunnetila ylittää riskikynnyksen,
- asiakkuustaso on enterprise,
- toiminto ylittäisi raha- tai datakynnyksen,
- lähdetieto on vanhentunut.
Poikkeusjono tarvitsee omistajan ja palvelutason. Jos kukaan ei tarkista jonoa päivittäin, järjestelmä ei ole vähentänyt työtä vaan piilottanut sen.
Malli 3: ihminen tarkistaa otoksen
Käytä tätä, kun seuraukset ovat vähäisiä mutta laadun ajautumisella on merkitystä.
Esimerkkejä:
- sisäiset yhteenvedot,
- sisältötunnisteet,
- kokousten tehtävien poiminta,
- ei-arkaluonteisten CRM-kenttien rikastaminen,
- ehdotetut tietämyskantalinkit.
Työnkulku toimii automaattisesti. Ihminen tarkistaa otoksen: ehkä 5 percent tuloksista, 20 satunnaista tapausta viikossa tai jokaisen juuri muutetun kehoteversion tulokset.
Otantatarkistus toimii vain, kun korjaukset palaavat järjestelmään:
- kirjaa virhe,
- luokittele virhetyyppi,
- päivitä kehote, haku, skeema tai työkalusäännöt,
- lisää esimerkit eval-arviointeihin,
- seuraa virheastetta ajan myötä.
Otantatarkistus on laatujärjestelmä, ei julkaisun hyväksyntäportti.
Malli 4: ihminen auditoi jälkikäteen
Käytä tätä vähäriskisessä, peruttavassa ja suurivolyymisessa työnkulussa.
Esimerkkejä:
- sisäiset tunnisteet,
- kaksoiskappaleiden tunnistus,
- vain luonnoksina käytettävät tietämyskantaehdotukset,
- mallien välinen kustannusreititys,
- muotoilun siistiminen, joka ei näy asiakkaalle.
Työnkulku toimii, ja lokit, koontinäytöt sekä määräaikaiset auditoinnit havaitsevat ongelmia.
Malli on hyväksyttävä vain, kun:
- toiminnot voi perua,
- työnkululla on hätäpysäytys,
- lokit riittävät päätösten rekonstruointiin,
- huomaamatta jääneen virheen kustannus on pieni,
- käyttäjät osaavat ilmoittaa huonosta tuloksesta.
Älä käytä jälkikäteisauditointia asiakkaalle näkyviin sitoumuksiin, arkaluonteisiin tietoihin, maksuihin tai säänneltyihin päätöksiin.
Malli 5: ihminen omistaa päätöksen
Käytä tätä, kun tekoäly auttaa analyysissä mutta ei saa tehdä päätöstä.
Esimerkkejä:
- rekrytointi,
- luotto- tai kelpoisuusarviointi,
- oikeudellinen strategia,
- lääketieteelliset neuvot,
- tietoturvapoikkeaman vakavuus,
- toimittajan valinta,
- suuret hankintapäätökset.
Malli voi tiivistää näyttöä, luetella kompromisseja, tuottaa kysymyksiä tai vertailla vaihtoehtoja. Päätöksen omistava ihminen hyväksyy lopullisen harkinnan.
Työnkulun pitää ilmaista tämä:
- ”Tekoälyn tuottama analyysi, ei päätös.”
- ”Päätöksen omistaja: nimi tai rooli.”
- ”Tarkistettu näyttö: lähteet.”
- ”Tunnetut rajoitukset.”
- ”Lopulliset perustelut.”
Näin estetään yleinen virhe, jossa mallin sujuvasta suosituksesta tulee oletusarvoinen päätös.
Yksinkertainen hyväksyntämatriisi
Käytä tätä lähtökohtana:
| Työnkulun seuraus | Ihmisen oletusmalli |
|---|---|
| Sisäinen, peruttava, vähän näkyvä | Auditointi jälkikäteen |
| Sisäinen, toistuva, laatuherkkä | Otantatarkistus |
| Epäselvät tapaukset muuten rutiininomaisessa työnkulussa | Poikkeustarkistus |
| Asiakkaalle näkyvä tai ulkoinen toiminto | Hyväksy jokainen toiminto |
| Tuhoava, taloudellinen, oikeudellinen, HR tai säännelty | Ihminen omistaa lopullisen päätöksen |
Matriisi ei ole laki vaan pakottaa tekemään valinnan. Jos valitset kevyemmän mallin, kirjaa perustelu.
Suunnittele tarkistusnäkymä
Hyvä tarkistusnäkymä vähentää tarkistajan väsymystä.
Näytä:
- järjestelmän ehdotus,
- käytetty näyttö,
- nykytilaan tehtävä muutos,
- syy tarkistukseen reitittämiselle,
- sallitut toiminnot,
- riskimerkinnät,
- mahdollinen määräaika.
Vältä:
- koko kehotteen kaatamista näkyviin,
- raakalokien tarkistamisen vaatimista,
- lähdeasiakirjojen piilottamista,
- pelkkiä hyväksy- ja hylkää-vaihtoehtoja, kun muokkausta tarvitaan,
- viiden järjestelmän avaamista yhden tapauksen varmistamiseen.
Hidas tarkistus kierretään. Epäselvä tarkistus hyväksytään ajattelematta.
Määritä pysäytyssäännöt
Jokainen human-in-the-loop-työnkulku tarvitsee pysäytyssäännöt.
Esimerkkejä:
- Enemmän kuin 3 percent otoksen tuloksista ei läpäise tarkistuslistaa.
- Havaitaan yksikin asiakkaiden välinen tietovuoto.
- Yli viisi korkean riskin poikkeusta on tarkistamatta 24 hours.
- Kehote- tai mallipäivitys kasvattaa hylkäysastetta 50 percent.
- Työnkulku tuottaa ulkoisen toiminnon, jonka olisi pitänyt vaatia hyväksyntä.
Pysäytyssäännön pitää kertoa, kuka keskeyttää työnkulun ja mitä sen jälkeen tapahtuu.
Yleiset virheet
Ihminen tulee mukaan liian myöhään. Pelkän viimeistellyn tuloksen näkevä tarkistaja voi ohittaa huonon lähdedatan. Näytä tarvittaessa näyttö ja välivaiheen poiminta.
Erien sokea hyväksyminen. Erähyväksyntä on hyödyllistä vasta, kun suodattimet ja otanta osoittavat erän yhtenäiseksi.
Tarkistajia ei kouluteta. He tarvitsevat esimerkkejä hyvistä, huonoista ja rajatapauksista.
Palautesilmukka puuttuu. Jos korjaukset eivät paranna kehotteita, hakua, skeemoja tai lähdetietoa, tarkistuksesta tulee pysyvää käsityötä.
Kapasiteettia ei suunnitella. 10 percent poikkeusaste määrällä 1,000 tapausta päivässä tarkoittaa 100 ihmistehtävää. Se on tiimi, ei alaviite.
Yhteenveto
Human-in-the-loop-suunnittelu ei ole yksi malli vaan seurauksiin sovitettu hallintakeinojen joukko.
Käytä:
- hyväksyntää seurauksellisiin toimiin,
- poikkeustarkistusta epäselviin tapauksiin,
- otantaa laadun ajautumiseen,
- auditointia vähäriskiseen peruttavaan työhön,
- ihmisen omistajuutta todellisiin liiketoimintapäätöksiin.
Käytännön testi on yksinkertainen: jos malli on väärässä, kuka huomaa, kuka voi pysäyttää sen ja mitä hän täsmälleen tekee? Jos et osaa vastata, työnkulku ei ole valmis.
