# LLM-i turbeülevaatuse kontroll-leht

Kasuta seda enne LLM-funktsiooni avaldamist, kui töövoog loeb ebausaldusväärset sisu, otsib privaatseid andmeid või kutsub tööriistu.

## 1. Töövoo piir

- [ ] Töövoogul on nimetatud omanik.
- [ ] Töövoo lubatud tegevused on dokumenteeritud.
- [ ] Välised, pöördumatud, rahalised, õiguslikud, personaliga seotud või kliendile nähtavad tegevused on eraldi märgitud.
- [ ] Töövoo kiireks väljalülitamiseks on dokumenteeritud viis.
- [ ] Töövoogul on tagasipööramise või käsitsi asendamise tee.

## 2. Ebausaldusväärse sisendi inventuur

- [ ] Kasutaja otsest sisendit käsitletakse ebausaldusväärsena.
- [ ] Otsitud dokumente käsitletakse andmetena, mitte juhistena.
- [ ] Tööriistade väljundeid käsitletakse ebausaldusväärsena, kui need ei teki usaldatud piiri sees.
- [ ] Üles laaditud PDF-e, pilte, heli, arvutustabeleid ja transkripte käsitletakse ebausaldusväärsena.
- [ ] Veebilehti ja brauseriagendi tähelepanekuid käsitletakse ebausaldusväärsena.
- [ ] Administraatori muudetavad promptid, töövoomallid, CMS-i sisu ja teadmiste allikad vaadatakse enne tootmiskasutust üle.

## 3. Andmete ja otsingu piir

- [ ] Saladusi, pääsmeid, tooreid tokeneid ja privaatseid URL-e ei saadeta mudelile.
- [ ] Otsing filtreerib enne järjestamist tenant'i, kasutaja, rolli ja allikaõiguste järgi.
- [ ] Otsitud tükkidel säilivad allika ID, tenant'i ID, nähtavus, omanik, versioon ja ülevaatuse aeg.
- [ ] Vastuse teekond saab tsiteerida või logida kasutatud allika ID-sid.
- [ ] Aegunud, üle vaatamata või madala usaldusega allikad jäetakse välja või märgitakse.
- [ ] Logides varjatakse isikuandmed ja pääsmed.

## 4. Prompti ja konteksti leping

- [ ] Süsteemi- ja arendajajuhised on versioonitud ning üle vaadatud nagu kood.
- [ ] Ebausaldusväärne sisu on pakendatud ja märgistatud andmetena.
- [ ] Mudelile on öeldud, mida teha, kui ebausaldusväärne sisu läheb ülesande juhistega vastuollu.
- [ ] Mudel saab ainult ülesandeks vajaliku minimaalse konteksti.
- [ ] Kõrge riskiga töövood kasutavad kitsast ekstraktimise sammu enne, kui põhiagent sisu näeb.
- [ ] Prompti kontrollfraase kasutatakse tuvastamiseks, mitte peamise kaitsekihina.

## 5. Tööriistad ja tegevused

- [ ] Tööriistad on kitsad ja ülesandespetsiifilised.
- [ ] Tööriistad võtavad kasutaja, tenant'i ja rolli serveripoolsest autentimiskontekstist, mitte mudeli argumentidest.
- [ ] Iga tööriist valideerib argumendid skeemi ja ärireeglitega.
- [ ] Iga tööriist jõustab autoriseerimise mudelist sõltumatult.
- [ ] Kirjutavad tööriistad on võimaluse korral idempotentsed.
- [ ] Välised kõrvalmõjud vajavad inimese kinnitust või deterministlikku poliitikakontrolli.
- [ ] Kiiruspiirangud, kvoodid ja kulupiirangud on seadistatud.
- [ ] Tööriistakutsed logitakse koos kasutaja, tenant'i, töövoo, promptiversiooni, mudeli, argumentide kokkuvõtte ja tulemusega.

## 6. Väljundi valideerimine

- [ ] Mudeli väljund parsitakse enne kasutamist range skeemiga.
- [ ] Tundmatud väljad lükatakse tagasi, kui leping peab olema suletud.
- [ ] URL-id, Markdown, HTML, failinimed ja koodiplokid puhastatakse seal, kus see on asjakohane.
- [ ] Väljund ei tohi sisaldada andmeklasse väljaspool ülesande lubatud ulatust.
- [ ] Privaatsetel allikatel põhinevad faktivastused vajavad allika ID-sid või allikakatkendeid.
- [ ] Vigane väljund ebaõnnestub suletult ega lange vabateksti peale tagasi.

## 7. Regressioonitestid

- [ ] Otsene süstetest: kasutaja palub mudelil juhiseid ignoreerida.
- [ ] Kaudne süstetest: otsitud sisu palub mudelil andmeid paljastada või tööriista kutsuda.
- [ ] Tenant'ite vaheline test: päring proovib ligi pääseda teise tenant'i andmetele.
- [ ] Ohtliku tööriistakutse test: mudel küsib kättesaamatut või keelatud tegevust.
- [ ] Vigase väljundi test: lisaväljad või valed enum-väärtused lükatakse tagasi.
- [ ] Andmelekketest: väljund proovib sisaldada saladusi, privaatseid andmeid või promptiteksti.
- [ ] Püsivustest: salvestatud sisu sisaldab pahatahtlikke juhiseid, mis hiljem otsinguga tagasi tulevad.
- [ ] Mitmemodaalne test, kui asjakohane: OCR-is või pildil nähtavaid juhiseid käsitletakse ebausaldusväärsena.

## 8. Jälgimine ja intsidentidele reageerimine

- [ ] Prompti väljavõtmise katsed on tuvastatavad.
- [ ] Korduvad valideerimisvead tekitavad häire.
- [ ] Ebatavaline otsingu ulatus, tööriistakutsete hulk, välised adressaadid, kulu või päringusagedus tekitavad häire.
- [ ] Prompt injection'i katsed on seotavad kasutaja, tenant'i, töövoo, allika ID-de ja tööriistakutsetega.
- [ ] Tiim teab, kuidas töövoog või üksikud tööriistad välja lülitada.
- [ ] Tiim teab, kuidas teenusepakkuja võtmeid tühistada ja mõjutatud pääsmeid roteerida.
- [ ] Kliendi, õigus-, turbe- ja regulaatorite teavitamise otsustel on omanik.

## Käivitusvärav

Ära märgi töövoogu tootmisvalmiks enne, kui:

- [ ] Kõigil suure mõjuga tegevustel on värav.
- [ ] Vähemalt üks vaenuliku dokumendi test on läbitud.
- [ ] Vähemalt üks lubamatu ligipääsu katse ebaõnnestus ohutult.
- [ ] Vähemalt üks ohtliku tööriistakutse katse ebaõnnestus ohutult.
- [ ] Vähemalt üks vigase väljundi test ebaõnnestus suletult.
- [ ] Vähemalt üks töövoo väljalülitamise tee on läbi proovitud.