„Vaidlusta mu mõtlemist“ kõlab tugeva promptina.
Sageli annab see nõrga tulemuse: kolm viisakat mööndust, kompliment sinu hoolika arutluskäigu kohta ja seesama soovitus, millega alustasid.
Probleem on struktuurne. Mudel on juba näinud sinu raamistust, sinu eelistatud vastust ja sageli ka argumenti, mida sa tahad, et ta kritiseeriks. Palve „ole kriitiline“ neid signaale ei eemalda.
Kasulik vastuseis tuleb sellest, kui muudad mudelile kättesaadavat infot ja selle järjekorda.
Allpool on viis praktilist viisi seda teha. Ükski neist ei muuda chatbotti sõltumatuks eksperdiks. Igaüks neist teeb ühe rikke paremini nähtavaks.
Muster 1: peida eelistus ära
Eelistusvihjed kutsuvad esile nõustumist. Eemalda need.
Nõrk prompt:
Tahan viia meie meeskonna tööriistalt A tööriistale B.
Aita mul plaani stressitestida.
Mudel teab, milline järeldus oleks sotsiaalselt kasulik.
Tugevam prompt:
Kümne liikmelise meeskonna jaoks on kaalumisel kaks valikut.
Valik A
- [praegused faktid]
- [kulud]
- [piirangud]
Valik B
- [praegused faktid]
- [kulud]
- [piirangud]
Ära soovita ühtki valikut.
Iga valiku kohta määra:
1. tugevaim põhjus, miks see võib ebaõnnestuda,
2. puuduv tõend, mis kõige rohkem loeb,
3. tingimus, mille korral see muutub paremaks valikuks.
Ära kirjuta „meie praegune süsteem“ ega „ajakohane asendaja“. Isegi väikesed sildid kannavad endas hinnangut.
Millal see aitab
- tarnijavalikud;
- palkamine versus sisseostmine;
- ise ehitamine versus ostmine;
- protsessi säilitamine versus väljavahetamine;
- või iga valik, kus sul on juba lemmik olemas.
Mida see ei lahenda
Faktid valisid sina. Pime võrdlus võib olla kallutatud selle tõttu, mille sa välja jätsid.
Muster 2: eralda kaitsja ja kriitik
Üks vastus kaldub kompromissi poole: üks argument, üks mööndus, tasakaalustatud järeldus.
Kasuta eraldi voore, millel on omavahel kokkusobimatud ülesanded.
Voor A:
Koosta valiku A tugevaim tõenditel põhinev kaitsekõne.
Ära aruta valikut B.
Nimeta iga eeldus ja märgi, kus tõendid puuduvad.
Voor B, uues vestluses:
Koosta valiku B tugevaim tõenditel põhinev kaitsekõne.
Ära aruta valikut A.
Nimeta iga eeldus ja märgi, kus tõendid puuduvad.
Voor C:
Võrdle neid kahte argumenti.
Ära premeeri ladusust ega pikkust.
Loetle:
- väited, mida toetavad esitatud faktid,
- väited, mis vajavad välist kontrollimist,
- vastuolulised eeldused,
- ja üks katse, mis vähendaks suurimat ebakindlust.
[kleebi mõlemad argumendid]
Eraldi vestlused vähendavad vestlusest tulenevat ankurdumist. Need ei loo tõelist sõltumatust – voorud võivad ikkagi tugineda sarnastele treeningmustritele –, aga need takistavad teisel rollil lihtsalt esimese rolli sõnastusele reageerimast.
Muster 3: nõua tõendeid enne argumenti
Kui palud kõigepealt veenvat kaitsekõnet, võib mudel genereerida väited, mis sellesse kõnesse sobivad, ja lisada tõendid alles hiljem.
Pööra järjekord ümber:
Enne arvamuse kujundamist koosta tõendite tabel.
Iga otsuskriteeriumi kohta kirja:
- esitatud faktid,
- vajalikud esmaallikad,
- hinnangud ja nende eeldused,
- teadmata,
- ja tõendid, mis lükkaksid iga valiku ümber.
Ära soovita midagi enne, kui olen tõendite tabeli kontrollinud ja tagasi saatnud.
Pärast kontrollimist anna ette ainult parandatud tabel ja küsi siis analüüsi.
See on aeglasem kui kohese soovituse küsimine. Kui vastus on oluline, on see hea omadus, mitte puudus.
Kasulik stopp-reegel
Kui suurim ebakindlus võib otsuse tagurpidi pöörata, ära küsi lõplikku soovitust. Kavanda test, tee mõõtmine või pöördu inimese poole, kelle käes puuduv info on.
Muster 4: määra vaenulik ülevaataja kitsa sihiga
„Ole advokaadiks kuradi poolel“ on liiga ebamäärane. Anna ülevaatajale konkreetne rikkepind.
Näited:
Vaata seda plaani ainult operatiivse ebaõnnestumise seisukohast.
Eelda, et strateegia on mõistlik.
Leia, kus puuduvad vastutus, jälgimine, tagasipööramine või hooldus.
Vaata seda ettepanekut ainult mõjutatud töötaja vaatenurgast.
Tuvasta, millised väidetud kasud on juhtkonna kasud, mitte töötaja omad.
Märgi lubadused, mida ettevõte ei saa kontrollida ega pidada.
Vaata seda andmevoogu ainult privaatsuse paljastumise seisukohast.
Loetle iga andmeklass, sihtkoht, säilituskoht ja juurdepääsu omav isik.
Ära anna juriidilisi järeldusi.
Kitsas vaenulik ülevaatus on kasulikum kui teatraalne agressiivsus. „Ole julmalt aus“ muudab tooni; määratletud ülevaatuspind muudab seda, mis üldse vaatevälja jõuab.
Kasuta mitut kitsast ülevaatust, kui kaalul on piisavalt palju. Hoia nende leiud eraldi, kuni otsustad, millised riskid on tegelikud.
Muster 5: kasuta sõltumatut teist vooru
Lase sama neutraalne brief läbi:
- uue vestluse, millel puudub eelnev ajalugu;
- teise mudelipere;
- või inimülevaataja, kes ei ole sinu eelistatud vastust näinud.
Seejärel võrdle lahknevusi:
Kaks ülevaatajat analüüsisid sama otsust.
Ülevaataja 1:
[kleebi]
Ülevaataja 2:
[kleebi]
Koosta lahkarvamuste register:
- teema,
- iga ülevaataja väide,
- tõendid, millele igaüks tugineb,
- puuduvad tõendid,
- ja omanik, kes saab selle lahendada.
Ära vali võitjat enesekindluse ega kirjutuskvaliteedi alusel.
Kahe mudeli kokkulangevus ei ole kinnitus. Mudelid võivad jagada samu allikaid, tavasid ja pimedaid nurki. Kasulik väljund on lahkarvamuste register ja tõendid, mida see sul koguda käsib.
Läbitöötatud näide: arvete käsitlemise automatiseerimine
Oletame, et algne plaan on:
Peaksime kasutama AI-agenti, mis loeb tarnijate arved, sisestab need raamatupidamistarkvarasse ja suunab need maksmisele.
Üldsõnaline vaidlustusprompt annab tõenäoliselt etteaimatavad mööndused täpsuse ja inimjärelevalve kohta.
Kasuta selle asemel viit mustrit.
1. Neutraliseeri valikud
- Valik A: jää käsitsi sisestuse juurde ja paranda kontrollnimekirja.
- Valik B: kasuta deterministlikku andmete eraldamist pluss inimese ülevaatust.
- Valik C: kasuta agenti, mis loeb andmed välja, sisestab need ja suunab edasi.
- Valik D: lükka projekt edasi ja ühtlusta kõigepealt tarnijate vormingud.
2. Eralda kaitsjad
Iga valik saab oma tugevaima kaitsekõne ja selgelt välja öeldud eeldused.
3. Koosta tõendite tabel
Kogu kokku:
- kuine arvete maht;
- praegune käsitlemisaeg;
- paranduste osakaal;
- standardvormingus arvete protsent;
- topelt- või petuarvete väärtus ja sagedus;
- lõimimiseks vajalikud õigused;
- ja see, kes vastutab erandjuhtumi eest.
4. Tee kitsad vaenulikud ülevaatused
- finantskontroll;
- taastumine tõrgetest;
- tarnija privaatsus;
- ja töötaja töövoog.
5. Võrdle sõltumatuid voore
Üks ülevaataja võib keskenduda tööjõukulu säästule. Teine võib märgata, et praeguses protsessis puudub usaldusväärne ostutellimuse vaste, mis teeb automatiseerimise enneaegseks.
Parim tulemus ei pruugi olla tugevam argument AI poolt või vastu. See võib olla kahenädalane mõõtmine, mis muudab otsuse ilmselgeks.
Kolm viisi, kuidas vastuseis muutub võltsiks
Mudel leiutab vastuväiteid
Iga vastuargument ei ole usutav. Nõua, et vastuväide nimetaks eelduse või tõendi, mida ta vaidlustab.
Mudel optimeerib sümmeetriat
Kõik valikud ei ole tasakaalus. Ühel võivad olla palju tugevamad tõendid. Ära nõua võrdset arvu plusse ja miinuseid; nõua sisuliselt olulisi probleeme.
Mudel muutub enesekindlalt vastuvaidlejaks
Prompt võib panna mudeli kõigele vastu vaidlema. Vastuvaidlev väljund on ikkagi genereeritud väljund. See vajab sama kontrolli nagu nõustuv väljund.
Uuringud on dokumenteerinud pugejalikkust eri AI-assistentide puhul ja näidanud, kuidas eelistussignaalid võivad mudeli vastuseid mõjutada (Anthropicu pugejalikkuse uuring). Kaitse ei ole mingi võlusõna. See on protsess, mis vähendab eelistusvihjeid ja teeb tõendid nähtavaks.
Kopeerimisvalmis vastuseisu järjestus
Kasuta seda olulise otsuse jaoks:
Faas 1 — raamistus
Sõnasta probleem kolmel sisuliselt erineval viisil.
Ära lahenda seda.
Faas 2 — tõendid
Eralda esitatud faktid, kontrollitavad faktid, hinnangud, järeldused ja väärtused.
Loetle tõendid, mis võiksid otsuse tagurpidi pöörata.
Faas 3 — juhtumid
Koosta iga valiku jaoks eraldi tugevaim kaitsekõne.
Nimeta eeldused ja ebaõnnestumistingimused.
Faas 4 — ülevaatus
Tee kitsad ülevaatused operatsioonide, mõjutatud inimeste, turvalisuse/privaatsuse ja kulu kohta.
Faas 5 — otsusetugi
Koosta lahkarvamuste register ja paku välja väikseim reaalse maailma test.
Ära tee lõplikku otsust.
Selle järjestuse taga olevate rikkeviiside kohta loe artiklit neli viisi, kuidas AI mõtlemispartner otsust moonutada saab. Laiema töövoo jaoks vaata AI paremate otsuste teenistuses.
Aus piir
Sa saad panna AI vastu vaidlema. Sa ei saa panna teda teadma, et sa eksid.
Mudel võib genereerida sama vigase eelduse teise nurga alt. Ta võib viidata aegunud allikale. Ta võib kõlada sõltumatuna lihtsalt sellepärast, et vahetasid rollisilti.
Käsitle vastuseisu otsinguvahendina: see toob esile eeldused, puuduvad huvirühmad ja tõendid, mida tuleb koguda. Lõplik otsus kuulub endiselt inimesele, kes mõistab konteksti ja võtab tagajärjed enda kanda.
