Selleks ajaks, kui enamik inimesi palub AI-l oma otsuse puhul „mõttekäiku üle kontrollida“, on nad juba otsustanud. Audit on tegelikult kinnituse otsimine, mis on riietatud kriitiliseks kontrolliks. Mudelid kalduvad seda ka andma — mitte pahatahtlikkusest, vaid sellepärast, et nad tuvastavad mustreid sinu raamistuse põhjal ja sinu raamistus sisaldab juba vastust, mida sa tahad.
Kallutatuse audit toimib ainult siis, kui sa kasutad fikseeritud nimekirja, enne kui oled selgitanud, miks sul ilmselt õigus on, ja kui sa kohtled mudeli väljundit kui veel üht kallutatud arvamust, mida kontrollida — mitte objektiivsuse sertifikaadina.
Mudel, mis sinu otsust auditeerib, ei ole erapooletu kohtunik. Ta on treenitud inimeste loodud tekstidel ja pärib otsustusülesannetes inimlikke kognitiivseid kallutatusi — 2024. aasta hinnang 30 dokumenteeritud kallutatuse kohta 20 suures keelemudelis leidis igaühe kohta tõendeid vähemalt mõnes mudelis, sealhulgas raamistuse efekte, ankurdamist ja kättesaadavusheuristikale omaseid vigu (Malberg et al., 2024). Hullem veel: mudel, millel palutakse mingi järelduse kasuks argumentatsioon koostada, teeb seda ladusalt olenemata sellest, kas argument on tegelikult tugev — ta suudab genereerida veenva kõlaga vastutõendeid, mis on välja mõeldud, mitte leitud. Kontrolli kõike, mille järgi plaanid tegutseda.
Kuus kallutatust, kontrollitud samal viisil iga kord
Kasuta fikseeritud nimekirja selle asemel, et paluda mudelil üldsõnaliselt „kallutatust otsida“ — lahtine palve annab tulemuseks selle, mida mudel arvab sind kuulda tahtvat. Fikseeritud kontrollnimekiri sunnib läbi käima ka need veamustrid, mille kohta sa poleks ise küsida osanud.
| Kallutatus | Kuidas see päris otsuses välja paistab | Vastuküsimus |
|---|---|---|
| Kinnituskallutatus | Sa otsisid põhjuseid, miks valik on õige, mitte põhjuseid, miks see võib vale olla | Mida ma ei otsinud, sest ootasin, et see minuga ei nõustu? |
| Uppunud kulu | Juba kulutatud aega, raha või pingutust käsitletakse jätkamise põhjusena (Arkes & Blumer, 1985) | Kui ma alustaksin täna nullist eelneva investeeringuta, kas ma valiksin selle? |
| Kättesaadavusheuristika | Elav hiljutine näide tundub tõenäolisem või olulisem, kui baasmäär toetab (Tversky & Kahneman, 1974) | Kas see on tegelikult tavaline, või lihtsalt näide, mida ma kõige kergemini mäletan? |
| Status quo kallutatus | Praegune seis on vaikimisi eeldatav valik ja muutuse jaoks nõutakse kõrgemat tõendite latti kui paigal püsimise jaoks | Kui mõlemad valikud oleksid mulle täna uued, kumb näeks tõendite põhjal parem välja? |
| Raamistuse efekt | Samad faktid, kirjeldatuna kord võidu, kord kaotusena, annavad erinevaid eelistusi (Tversky & Kahneman, 1981) | Kui ma sõnastaksin selle valiku vastupidises raamis — kulu säästmise asemel, risk võimaluse asemel — kas ma eelistaksin seda ikka? |
| Baasmäära eiramine | Konkreetsele veenvale loole antakse suurem kaal kui üldisele statistilisele mustrile, kuhu see kuulub | Mis on selliste tulemuste baasmäär, enne kui lisan konkreetse loo? |
See on fikseeritud komplekt, mitte ammendav. See katab need veamustrid, mis tavalises töös ja isiklikes otsustes kõige sagedamini esinevad — tarnija valik, värbamisotsused, „kas me peaksime sellega jätkama“ tüüpi ülevaatused, suured ostud.
Samm 1: pane oma kaldumine enne auditit kirja
Enne vestluse avamist kirjuta ausalt üles:
- Valik, mille suunas sa praegu kaldud.
- Millal sa hakkasid selles suunas kalduma.
- Mis peab tõeks olema, et sa muudaksid meelt.
See samm on olemas, sest enamik inimesi jätab selle vahele ja läheb otse käsuni „auditeeri seda otsust“, mis laseb mudelil sinu eelistust järeldada toonist ja raamistusest, mitte selgest kontrollitavast väitest. Kui paned oma kaldumise enne kirja, saad auditi leide võrrelda sellega, mida sa tegelikult varem uskusid — ja märkad, kui audit selle igal juhul mugavalt üle kinnitab.
Samm 2: kasuta fikseeritud kontrollnimekirja, kus nõutakse tõendeid
Nõrk prompt:
Mõtlen kandidaadi A edutamisele kandidaadi B ees. Kas see on hea otsus?
See prompt annab üle sinu raamistuse (sõna „promoting“, nimede järjekord) ja küsib arvamust. Tõenäoliselt tuleb toetava kõlaga vastus mõne üldise hoiatusega.
Tugevam prompt:
Olen juba otsustanud, et kaldun [option] poole. Ära ütle, kas otsus on hea.
Auditeeri mu arutluskäiku täpselt nende kuue kallutatuse vastu: confirmation bias, sunk cost, availability heuristic, status quo bias, framing effect, base-rate neglect.
Igaühe kohta:
1. Tsiteeri konkreetset osa mu arutlusest, kus see võib kehtida.
2. Ütle, millist tõendit ma selle tõttu veel kontrollinud pole.
3. Paku üks vastutõend, mis — kui see on tõsi — mu otsust muudaks — ja ole selge, kas see vastutõend on midagi, mida ma pean minema kontrollima, või midagi, mida sa genereerisid usutava näitena.
Ära soovita teist valikut. Ära pehmenda leide, et tunduda tasakaalustatud.
Illustratiivne näidisväljund (lühendatud) otsuse kohta, et jätta praegune tarnija, mitte vahetada:
Uppunud kulu: Tsiteeritud arutluskäik: „oleme sellesse integratsiooni juba aasta investeerinud“. See on uppunud kulu, mitte ettevaatav tegur — juba kulutatud aasta ei muuda seda, mis järgmine aasta kummalgi juhul maksma läheb. Veel kontrollimata tõend: vahetamise kogukulu, sh eraldi osa juba amortiseeritud kulude ja uute kulude kohta. Kontrollitav vastutõend: küsi tegelik migratsioonikulu hinnang, selle asemel et eeldada seda selle põhjal, kui vaevaline integratsiooni algne ehitamine tundus.
Status quo kallutatus: Praegust tarnijat käsitletakse vaikimisi valikuna, millest lahkumist tuleb põhjendada, selle asemel et hinnata mõlemat valikut nullist. Kontrollitav vastutõend: koosta võrdlustabel nii, nagu hindaksid kahte uut tarnijat, kellest kumbki pole praegune.
Raamistuse efekt: [märgib ära rea, kus otsus raamistati kui „vahetamise riski vältimine“, mitte kui „paigal püsimise võimaluskulu“ — samad faktid, teine raam, tõenäoliselt teine eelistus. See on genereeritud illustratsioon sellest, kuidas raamistuse märge välja näeks, mitte kontrollitud fakt sinu konkreetse juhtumi kohta.]
Pane tähele, et mudel ütles selgelt, millist vastutõendit tuleb väliselt kontrollida ja milline on illustratiivne näide — just seda eristust peaksid sa iga kord nõudma, sest erinevus „siin on päris number, mille lähed üle kontrollid“ ja „siin on usutava kõlaga stsenaarium, mille ma välja mõtlesin“ vahel ongi auditi kogu mõte.
Nõua mudelilt, et ta eristaks igas leius „väliselt kontrollitava tõendi“ „tema enda genereeritud illustratiivsest arutluskäigust“. Kui ta seda ise ei tee, lisa neljas juhis: „Label each counter-evidence item as [verify] or [illustrative].“ Kohtle märgistamata väljundit vaikimisi illustratiivsena ja kontrolli seda ise, enne kui see midagi muudab.
Samm 3: kogu vastutõendid enne lõpliku otsuse tegemist
Iga kallutatusmärke puhul, millel on tegelikku kaalu — kõigil neid ei ole — kogu päris vastutõend, selle asemel et leppida mudeli usutava kõlaga versiooniga. Selle sammu jätavad inimesed vahele, sest see on aeglane, ja just see samm teeb auditi üldse tegemist väärivaks.
Lühike tabel sobib hästi:
| Märgistatud kallutatus | Vajalik vastutõend | Kontrollitud? | Muudab otsust? |
|---|---|---|---|
| Uppunud kulu | Tegelik migratsioonikulu hinnang kahelt tarnijalt | Jah — sain pakkumised | Ei, kulu oli eeldustest madalam, aga siiski märkimisväärne |
| Status quo | Nullbaasil koostatud võrdlustabel | Jah | Pisut — praegune tarnija juhib endiselt viiest kriteeriumist kahel |
| Raamistus | Sõnasta otsus vastupidises raamis, kontrolli eelistust uuesti | Jah | Ei, eelistus püsib mõlemas raamis |
Kui märgistatud kallutatus peab vastu päris vastutõendile — eelistus püsib isegi siis, kui sa aktiivselt proovisid seda murda — on see otsusele tugevam alus kui algne kaldumine. Kui ei pea, siis vältisid just vea, mille tabas fikseeritud kontrollnimekiri, mitte üldine „kas see tundub õige“ kontroll.
Milleks audit ei sobi
See protsess parandab otsuse taga oleva mõtlemise kvaliteeti. See ei asenda valdkonna ekspertiisi ja seda ei tohiks kasutada ranguse mulje tekitamiseks otsuse ümber, mis tegelikult vajab spetsialisti — kaalukas juriidiline, meditsiiniline või rahaline otsus vajab kvalifitseeritud spetsialisti ning kallutatuse audit on kasulik ettevalmistus selleks vestluseks, mitte selle asendus. Otsuste hügieen stressi all käsitleb seotud juhtumit, kus otsus ise on korras, aga ajastus ja emotsionaalne seisund selle ümber mitte.
See pole ka viis vastutuse teistele veeretamiseks. Kui auditit kasutatakse, peaks kirje näitama, et inimene vaatas märgistatud kallutatused üle, kontrollis vastutõendeid ja tegi otsuse — mitte „AI kinnitas, et kallutatust polnud“, mis on kategooriaviga. Mudeli leid, et sinu mõtlemises kallutatust pole, ei ole tõend kallutatuse puudumise kohta; see võib lihtsalt tähendada, et auditi prompt polnud piisavalt vastanduv või et samad kallutatused, mis on sinu mõtlemises, on ka mudeli hinnangus.
Teine, sõltumatu kontrollikäik
Kuna üks mudelikäik peegeldab ühe mudeli kallutatust sinu oma peale laotuna, lisab teine kontroll päris väärtust: tee sama fikseeritud kontrollnimekiri läbi uues vestluses, mis ei tea sinu kaldumisest midagi, või palu kolleegil, kes pole sinu eelistust näinud, teha audit käsitsi sama kuue punkti nimekirja põhjal. Võrdle, kus kaks auditit klapivad ja kus lahknevad — lahknevus märgib tavaliselt kohta, kus otsus on tõesti tasavägine, ja see on iseenesest kasulik info. Kuidas panna AI sinuga vastu vaidlema käsitleb seda, kuidas saada tõeliselt sõltumatu teine kontrollikäik, mitte esimese korreleeritud kaja.
Aus piir
Mudel ei ole sinu mõtlemise kallutatusevaba auditor; ta on veel üks osaline, kellel on dokumenteeritud kalduvus samadele raamistuse efektidele, kättesaadavusvigadele ja ankurdamisele, mida tal palutakse sinu juures otsida. Kohtle iga märgistatud kallutatust kui vihjet, mida kontrollida, iga vastutõendit kui väidet, mida kontrollida, ja iga „kallutatust ei leitud“ tulemust kui ebamäärast, mitte puhast.
Auditi väärtus on struktuurne, mitte ettekuulutuslik: järjepidevalt läbi käidud fikseeritud nimekiri tabab rohkem kui lahtine „kas see tundub mõistlik“ kunagi suudab, sest see sunnib katma ka seda, mida sa poleks ise küsida osanud. Otsustus selle üle, mida leiud tähendavad, ja vastutus lõpliku valiku eest jäävad täpselt sinna, kus need olid enne vestluse avamist — sinu juurde või nimetatud inimese juurde, kes otsuse eest vastutab.
Allpool olev auditileht sisaldab kuue kallutatuse kontrollnimekirja, vastutõendite tabelit ja kontrollitud/illustratiivse märgistuse veergu ühe korduvkasutatava lehena iga otsuse jaoks, mille suunas sa juba kaldud.
