Tootmise AI veamustrid: mis pärast demot katki läheb

Enamik AI demosid ebaõnnestub liiga viisakalt. Näidissisend on puhas. Andmed on ajakohased. Tööriist töötab. Kasutaja küsib tavalise küsimuse. Mudel annab hea vastuse. Kõik noogutavad.

Tootmine on vähem viisakas. Kasutajad kleebivad sisse segaseid sisendeid. Allikadokumendid on aegunud. API-d aeguvad. Promptid triivivad. Mudel järgib vale juhist. Klient küsib midagi, mis jääb korpusest napilt välja. Tööriistakutse õnnestub, kuid uuendab vale kirje. Töövoog toodab midagi piisavalt ladusat, et keegi ei märka viga enne hiljem.

See artikkel on tootmise AI-süsteemide veamustrite register. Kasuta seda enne lansseerimist, mitte pärast esimest intsidenti.

Tootmise AI ülevaatus peaks küsima "kuidas see ebaõnnestub?" enne küsimust "kui muljetavaldav on õnnelik tee?" Iga veamuster vajab kontrolli, testi, omanikku ja peatamistingimust.

Veamuster 1: usutav vale väljund

Süsteem genereerib vastuse, mis kõlab õigesti, kuid on toetamata või vale.

Tavalised päästikud:

• Konkreetsed faktid ilma allikapõhise kinnitamiseta.
• Õigus-, meditsiini-, finants- või poliitikaküsimused.
• Hiljutised sündmused.
• Madala kvaliteediga retrieval.
• Pikkade dokumentide kokkuvõtted, kus oluline tõendus on sügaval peidus.

Kontrollid:

• Nõua faktiväidete jaoks tsitaate või allikakatkeid.
• Keeldu väljaspool olemasolevat allikakomplekti vastamast.
• Lisa eval-juhtumid tuntud valevastuste mustrite jaoks.
• Suuna suure mõjuga väljundid inimese ülevaatusele.
• Logi vastuses kasutatud allika ID-d.

Ära kontrolli seda sõnastusega "ole täpne". Kontrolli seda allikate, testide ja ülevaatusväravatega.

Veamuster 2: aegunud kontekst

Vastus on allikatega seotud, kuid seotud vana infoga.

Näited:

• Vana hinnaleht.
• Asendatud poliitika.
• Eelmine lepinguversioon.
• Aegunud tootedokumentatsioon.
• Vahemällu jäänud kliendistaatus.

Kontrollid:

• Salvesta allika kuupäev, versioon, omanik ja värskusreegel.
• Eelista autoriteetseid allikaid kokkuvõtetele.
• Märgi retrieval-väljundis aegunud allikad.
• Lisa värskuse testid.
• Teavita omanikku, kui võtmeallikad on vanemad kui nende ülevaatusaken.

RAG-süsteemid võivad vastata väga enesekindlalt aegunud dokumentidest. Retrieval-kiht peab teadma, mida "ajakohane" tähendab.

Veamuster 3: liigne nõustumine

Mudel peegeldab kasutaja eeldust selle asemel, et seda vaidlustada.

See loeb strateegias, analüüsis, planeerimises ja otsustoes. Kasutaja küsib: "See lansseerimisplaan tundub kindel, eks?" ja saab riskianalüüsi asemel nõustumise.

Kontrollid:

• Palu vastuväiteid ja ebakindlust.
• Kasuta avatud heakskiidu asemel otsustusrubriike.
• Nõua küsimust "mis teeks selle valeks?"
• Eralda ideede genereerimine ülevaatusest.
• Lisa eval'itesse näiteid, kus kasutaja eeldus on vigane.

Süsteem peaks aitama kasutajal paremini mõelda, mitte lihtsalt tema praegust vaadet lihvitumaks muuta.

Veamuster 4: prompt injection

Mudel käsitleb mitteusaldusväärset sisu juhisena.

Näited:

• Veebileht ütleb "ignoreeri varasemaid juhiseid".
• Kasutajatoe e-kiri sisaldab pahatahtlikke juhiseid.
• RAG-korpuse dokument käsib assistendil varjatud andmeid avaldada.
• Tööriista tulemus sisaldab teksti, mis proovib töövoogu muuta.

Kontrollid:

• Märgista mitteusaldusväärne sisu selgelt.
• Ära pane leitud sisu samale autoriteeditasemele kui system/developer juhised.
• Piira tööriistade õigusi.
• Lisa väljuvate tegevuste lubatud nimekirjad.
• Testi injection-näiteid eval'ites.
• Hoia saladused prompti kontekstist väljas.

Prompt injection'i ei lahenda üks nutikas system prompt. Seda vähendab arhitektuur: andmepiirid, tööriistaõigused ja väljundi valideerimine.

Veamuster 5: ohtlik tööriistakasutus

Mudel kutsub vale tööriista, kutsub õiget tööriista valede argumentidega või tegutseb enne, kui konteksti on piisavalt.

Näited:

• Uuendab vale CRM-kontakti.
• Saadab e-kirja valele saajale.
• Loob duplikaatkirjeid.
• Broneerib kohtumise ajavööndit kinnitamata.
• Kustutab või kirjutab andmed üle.

Kontrollid:

• Alusta ainult lugemisõigusega.
• Kasuta kitsaid tööriistu selgete skeemidega.
• Valideeri tööriistaargumendid väljaspool mudelit.
• Nõua kirjutustoimingutele kinnitust.
• Lisa idempotentsusvõtmed.
• Logi tööriistakutsed ja tulemused.
• Lisa hädaseiskamise võimalus.

Tööriistakasutust peaks piirama töövoog, mitte usaldus mudeli hinnangu vastu.

Veamuster 6: skeemi- ja lepingutriiv

Mudeli väljundformaat muutub või allavoolu API muutub ning töövoog läheb vaikselt katki.

Kontrollid:

• Kasuta võimalusel struktureeritud väljundeid.
• Valideeri iga mudeliväljund enne kasutust.
• Käsitle vigast väljundit taastatava tõrkena.
• Versioonista promptid ja skeemid koos.
• Lisa allavoolu API-de lepingutestid.
• Monitoori parsimistõrkeid.

Kui allavoolu sõlm eeldab kehtivat JSON-it, peab töövoog tõestama, et tal on kehtiv JSON.

Veamuster 7: nõrk varuplaan

Süsteem märkab probleemi, kuid ei taastu ohutult.

Halvad varuplaanid:

• Tühi vastus.
• Vaikne tõrge.
• Üldine vabandus ilma tegevuseta.
• Korduv retry-tsükkel.
• Inimeseni eskaleerimine ilma kontekstita.

Head varuplaanid:

• Selge sõnum kasutajale.
• Inimese järjekord koos sisendi, allika, vea ja proovitud tegevusega.
• Retry koos backoff'iga ainult seal, kus retry on ohutu.
• Käsitsi tee kiireloomuliste juhtumite jaoks.
• Peatamistingimus korduvatele tõrgetele.

Varuplaan on osa tootest. Kui seda ei disainita, improviseeritakse rikkekogemus.

Veamuster 8: observability puudujääk

Midagi läheb valesti ja keegi ei suuda taastada, miks.

Kontrollid:

• Logi prompti mall ja versioon.
• Logi mudel ja seaded.
• Logi allika ID-d, mitte ainult vastusetekst.
• Logi tööriistakutsed, argumendid ja tulemused koos tundlike andmete varjamisega.
• Logi valideerimisvead.
• Jälgi latentsust, kulu ja varuplaani kasutusmäära.
• Hoia säilitusaeg lühike, kui vastavusnõuded ei nõua pikemat.

Ära salvesta privaatset chain-of-thought'i. Salvesta otsuse kokkuvõtted, allikaviited, tööriista sisendid/tulemused ja valideerimistulemused.

Tootmise veamustrite register

Loo iga veamustri kohta üks rida:

| Veamuster | Näide | Kontroll | Test | Mõõdik | Omanik | Peatamistingimus | | --- | --- | --- | --- | --- | --- | --- | | Aegunud allikas | Tagastati vana hind | Allika kuupäeva kontroll | Küsi vana/uue hinna kohta | Aegunud allikaga vastuste määr | Dokumentatsiooni omanik | Iga kliendile nähtav aegunud hind | | Ohtlik tööriistakasutus | Vale CRM-uuendus | Argumendi valideerimine + kinnitus | Duplikaat/vale kontakti juhtum | Vale tegevuse määr | RevOps | Üks vale kirjutus |

Selle artikliga seotud register annab sulle malli.

Ära tee seda veel

Ära lansseeri kliendile suunatud AI-d ilma veamustrite registrita.

Ära lase kirjutusõigusega tööriistadel valideerimisest mööda minna.

Ära toetu pärast lansseerimist ainult käsitsi pistelisele kontrollile.

Ära mõõda ainult keskmist kvaliteeti. Harvad rikked võivad olla kogu risk.

Ära aktsepteeri väidet "saame tagasi pöörata", kui keegi ei suuda tegelikku rollback-teed nimetada.

Kokkuvõte

Tootmise AI-süsteemid ebaõnnestuvad korduvatel viisidel. Hallutsinatsioon, aegunud kontekst, liigne nõustumine, prompt injection, ohtlik tööriistakasutus, skeemitriiv, nõrk varuplaan ja observability puudujäägid ei ole äärejuhtumid. Need on AI-süsteemide tootmisse viimise tavaline töö.

Küps samm on veamustrid nimetada, lisada kontrollid, neid testida, neid monitoorida ja määrata omanik. Demo näitab, mis töötas ühe korra. Veamustrite register näitab, kas süsteem peab päris kasutusele vastu.