Inimese ülevaatusega AI-töövoogude disainimustrid

Enamik tiime kasutab väljendit "human in the loop" rahustava sõnakõlksuna. See kõlab turvaliselt. See kõlab vastutustundlikult. Sageli tähendab see ka seda, et keegi ei ole otsustanud, mida inimene tegelikult teeb.

Inimene võib tegevuse kinnitada, näidiseid üle vaadata, erandeid lahendada, hiljem auditeerida, parandustega töövoogu treenida või ärilise otsuse eest vastutada. Need on erinevad mustrid. Neil on erinevad kulud, vearežiimid ja mehitamise vajadused.

See artikkel annab praktilise otsustusmudeli õige mustri valimiseks.

Inimese ülevaatus on kontrollimehhanism, mitte dekoratsioon. Kui ülevaatajal ei ole selget volitust, ajaraami, kontrollnimekirja ja peatamisreeglit, on töövoog sisuliselt endiselt automatiseeritud.

Alusta tagajärjest

Ära alusta mudelist. Alusta vale väljundi tagajärjest.

Küsi viis küsimust:

1. Kas see võib mõjutada klienti, töötajat, tarnijat või regulaatorit?
2. Kas see võib saata, avaldada, kustutada, tasu võtta, raha tagastada või kirjet muuta?
3. Kas see võib paljastada isikuandmeid, konfidentsiaalset, finants-, juriidilist või tervisega seotud infot?
4. Kas valet vastust oleks hiljem raske avastada?
5. Kas viga kahjustaks usaldust ka siis, kui see on tehniliselt tagasipööratav?

Mida rohkem jah-vastuseid, seda täpsemalt peab inimese roll olema defineeritud.

Muster 1: inimene kinnitab iga tegevuse

Kasuta seda, kui tegevus on väline, hävitav, rahaline, juriidiline, HR-iga seotud või kliendile nähtav.

Näited:

• kliendile e-kirja saatmine,
• avaliku artikli avaldamine,
• raha tagastamine,
• kirjete kustutamine,
• lepinguklausli muutmine,
• töölevõtmise soovituse tegemine.

Mudel valmistab ette mustandi või soovituse. Inimene kinnitab, muudab või lükkab selle tagasi. Lõplik tegevus ei toimu enne, kui kinnitus on salvestatud.

Hea kinnituse disain sisaldab:

• selget erinevuste vaadet või eelvaadet,
• kasutatud lähteandmeid,
• mudeli kindlust või riskimärke, kui need on olemas,
• ühe klõpsuga tagasilükkamise võimalust,
• kõrge riskiga voogudes kohustuslikku põhjendust ülekirjutamiseks,
• auditilogi ülevaataja, ajatempli ja lõpliku tegevusega.

See on kõige kallim muster, aga mõjukate tegevuste puhul on see õige vaikimisi valik.

Muster 2: inimene vaatab üle erandid

Kasuta seda, kui enamik juhtumeid on rutiinsed, kuid osa on ebaselged või riskantsed.

Näited:

• tugipiletid, kus mainitakse lepingu lõpetamist, juriidilisi ähvardusi, turvalisust või arveldust,
• arveandmete väljavõtt, kus kindlus on madal või väljad puuduvad,
• müügivihjete kvalifitseerimine, kui ettevõtte suurus või kavatsus on ebaselge,
• dokumentide klassifitseerimine, kui sobib mitu kategooriat.

Töövoog lahendab tavapärased juhtumid ja suunab erandid järjekorda.

Erandite suunamine vajab konkreetseid reegleid. "Madal kindlus" üksi on tavaliselt liiga ebamäärane. Paremad päästikud:

• kohustuslikud väljad puuduvad,
• väljavõetud väärtused on vastuolus,
• keel ei ole toetatud,
• dokumenditüüp on tundmatu,
• kliendi meeleolu ületab riskiläve,
• konto tase on enterprise,
• tegevus ületaks raha- või andmeläve,
• lähteandmed on aegunud.

Erandijärjekordadel peab olema omanik ja teenustase. Kui keegi ei vaata järjekorda iga päev, ei ole süsteem tööd vähendanud, vaid selle ära peitnud.

Muster 3: inimene kontrollib valimit

Kasuta seda, kui töövoog on väikese tagajärjega, aga kvaliteedi triivimine on oluline.

Näited:

• sisemised kokkuvõtted,
• sisu märgendamine,
• koosoleku tegevuspunktide väljavõtt,
• mittetundlike CRM-väljade rikastamine,
• soovitatud teadmistebaasi lingid.

Töövoog töötab automaatselt. Inimene vaatab üle valimi: näiteks 5 protsenti väljunditest, 20 juhuslikku juhtumit nädalas või iga väljund pärast uue prompti versiooni muutmist.

Valim töötab ainult siis, kui parandused jõuavad süsteemi tagasi:

• salvesta, mis oli valesti,
• liigita vea tüüp,
• uuenda prompti, otsingut, skeemi või tööriistareegleid,
• lisa näited hindamistesse,
• jälgi veamäära ajas.

Valim on kvaliteedisüsteem. See ei ole käivituse kinnitamise värav.

Muster 4: inimene auditeerib hiljem

Kasuta seda, kui töövoog on madala riskiga, tagasipööratav ja suure mahuga.

Näited:

• sisemine märgendamine,
• duplikaatide tuvastamine,
• ainult mustandina teadmistebaasi soovitused,
• mudelite vahel kulude suunamine,
• kliendile mittenähtav vorminduse korrastus.

Töövoog töötab. Logid, armatuurlauad ja perioodilised auditid tuvastavad probleeme.

See muster on vastuvõetav ainult siis, kui:

• tegevused on tagasipööratavad,
• töövool on peatamise lüliti,
• logid on otsuste taastamiseks piisavalt detailsed,
• märkamata vea hind on madal,
• kasutajad teavad, kuidas halvast väljundist teatada.

Ära kasuta järel-auditit kliendile nähtavate lubaduste, tundlike andmete, maksete või reguleeritud otsuste puhul.

Muster 5: inimene omab otsust

Kasuta seda, kui AI aitab analüüsida, kuid ei peaks otsust tegema.

Näited:

• värbamine,
• krediidi- või sobivuse hindamine,
• juriidiline strateegia,
• meditsiiniline nõuanne,
• turvaintsidendi tõsidus,
• tarnija valik,
• suuremad ostuotsused.

Mudel võib kokku võtta tõendeid, loetleda kompromisse, luua küsimusi või võrrelda valikuid. Lõpliku hinnangu kinnitab inimese rollis otsuse omanik.

Töövoog peaks selle selgelt nähtavaks tegema:

• "AI loodud analüüs, mitte otsus."
• "Otsuse omanik: nimi või roll."
• "Läbi vaadatud tõendid: allikad."
• "Teadaolevad piirangud."
• "Lõplik põhjendus."

See hoiab ära levinud vea: mudeli ladus soovitus muutub vaikimisi otsuseks.

Lihtne kinnitamise maatriks

Kasuta seda alguspunktina:

| Töövoo tagajärg | Vaikimisi inimese roll | | --- | --- | | Sisemine, tagasipööratav, väikese nähtavusega | Audit hiljem | | Sisemine, korduv, kvaliteeditundlik | Valimi ülevaatus | | Ebaselged juhtumid muidu rutiinses voos | Erandite ülevaatus | | Kliendile nähtav või väline tegevus | Iga tegevuse kinnitamine | | Hävitav, rahaline, juriidiline, HR või reguleeritud | Inimene omab lõplikku otsust |

Maatriks ei ole seadus. See on otsustamise sundija. Kui valid kergema mustri, kirjuta üles miks.

Disaini ülevaatuse ekraan

Hea ülevaatuse ekraan vähendab ülevaataja väsimust.

Näita:

• mida süsteem pakub,
• milliseid tõendeid ta kasutas,
• mis muutub võrreldes praeguse seisuga,
• miks juhtum ülevaatusse suunati,
• lubatud tegevusi,
• riskimärke,
• tähtaega, kui see on olemas.

Väldi:

• kogu prompti ekraanile kallamist,
• ülevaatajalt toorlogide lugemise nõudmist,
• lähteandmete peitmist,
• ainult "kinnita" ja "lükka tagasi" valikuid, kui vaja on ka "muuda" valikut,
• olukorda, kus ühe juhtumi kontrollimiseks peab avama viis süsteemi.

Kui ülevaatus on aeglane, hakatakse sellest mööda minema. Kui ülevaatus on ebaselge, hakatakse seda kummitemplina kinnitama.

Määra peatamisreeglid

Igal inimese ülevaatusega töövool peab olema peatamisreeglid.

Näited:

• Rohkem kui 3 protsenti valimis olevatest väljunditest kukub kontrollnimekirjas läbi.
• Tuvastatakse kliendiülene andmeleke.
• Rohkem kui viis kõrge riskiga erandit on üle 24 tunni üle vaatamata.
• Prompti või mudeli uuendus suurendab tagasilükkamise määra 50 protsenti.
• Töövoog loob välise tegevuse, mis oleks pidanud nõudma kinnitust.

Peatamisreegel peab ütlema, kes töövoo peatab ja mis edasi juhtub.

Levinud vead

Inimene pannakse liiga hilja protsessi. Kui ülevaataja näeb ainult lõplikku lihvitud väljundit, võib halb lähteandmestik märkamata jääda. Vajadusel näita tõendeid ja vahepealset väljavõttu.

Partiide pime kinnitamine. Partiikinnitus on kasulik, aga alles pärast seda, kui filtrid ja valim tõestavad, et partii on ühtlane.

Ülevaatajate väljaõpe puudub. Ülevaatajad vajavad häid, halbu ja piiripealseid näiteid.

Tagasisideahel puudub. Kui parandused ei paranda prompte, otsingut, skeeme või lähteandmeid, muutub ülevaatus püsivaks käsitööks.

Võimekuse planeerimine puudub. 10-protsendine erandimäär 1000 juhtumi juures päevas tähendab 100 inimese ülesannet. See on tiim, mitte joonealune märkus.

Põhisõnum

Inimese ülevaatusega disain ei ole üks muster. See on tagajärgedega sobitatud kontrollide kogum.

Kasuta:

• kinnitamist kõrge tagajärjega tegevuste puhul,
• erandite ülevaatust ebaselgete juhtumite puhul,
• valimit kvaliteedi triivi jaoks,
• auditit madala riskiga tagasipööratava töö jaoks,
• inimese otsuse omamist päris äriotsuste puhul.

Praktiline test on lihtne: kui mudel eksib, kes märkab, kes saab selle peatada ja mida ta täpselt teeb? Kui sa ei oska sellele vastata, ei ole töövoog valmis.