# LLM-tietoturvan tarkistuslista

Käytä tätä ennen LLM-ominaisuuden julkaisua, joka lukee epäluotettavaa sisältöä, hakee yksityisiä tietoja tai kutsuu työkaluja.

## 1. Työnkulun raja

- [ ] Työnkulun omistaja on nimetty.
- [ ] Työnkulun sallitut toimet on dokumentoitu.
- [ ] Ulkoiset, tuhoavat, taloudelliset, oikeudelliset, HR- tai asiakkaalle näkyvät toimet on tunnistettu.
- [ ] On dokumentoitu tapa poistaa työnkulku nopeasti käytöstä.
- [ ] Työnkululla on rollback- tai manuaalinen varapolku.

## 2. Epäluotettavien syötteiden inventaario

- [ ] Suora käyttäjäsyöte käsitellään epäluotettavana.
- [ ] Haetut asiakirjat käsitellään epäluotettavana datana, ei ohjeina.
- [ ] Työkalujen tulosteet käsitellään epäluotettavina, ellei niitä ole tuotettu luotetun rajan sisällä.
- [ ] Ladatut PDF:t, kuvat, ääni, taulukot ja litteroinnit käsitellään epäluotettavina.
- [ ] Verkkosivut ja selainagentin havainnot käsitellään epäluotettavina.
- [ ] Adminin muokattavat kehotteet, työnkulkupohjat, CMS-sisältö ja tietolähteet tarkistetaan ennen tuotantokäyttöä.

## 3. Datan ja haun raja

- [ ] Salaisuuksia, tunnuksia, raakoja tokeneita ja yksityisiä URL-osoitteita ei koskaan lähetetä mallille.
- [ ] Haku suodattaa tenantin, käyttäjän, roolin ja lähdeoikeuksien mukaan ennen sijoittelua.
- [ ] Haetut palat säilyttävät lähde-ID:n, tenant-ID:n, näkyvyyden, omistajan, version ja tarkistuksen aikaleiman.
- [ ] Vastauspolku voi viitata tai kirjata, mitä lähde-ID:itä käytettiin.
- [ ] Vanhentuneet, tarkistamattomat tai matalan luottamuksen lähteet suljetaan pois tai merkitään.
- [ ] Lokit peittävät henkilötiedot ja tunnukset.

## 4. Kehotteen ja kontekstin sopimus

- [ ] Järjestelmä-/kehittäjäohjeet versionoidaan ja tarkistetaan kuten koodi.
- [ ] Epäluotettava sisältö kääritään ja merkitään dataksi.
- [ ] Mallille kerrotaan, mitä tehdä, kun epäluotettava sisältö on ristiriidassa tehtäväohjeiden kanssa.
- [ ] Malli saa vain tehtävään tarvittavan minimikontekstin.
- [ ] Korkean riskin työnkulut käyttävät kapeaa poimintavaihetta ennen kuin pääagentti näkee sisällön.
- [ ] Kehotteen canary-fraaseja käytetään vain havaitsemiseen, ei ensisijaisena suojana.

## 5. Työkalujen ja toimien suunnittelu

- [ ] Työkalut ovat kapeita ja tehtäväkohtaisia.
- [ ] Työkalut johtavat käyttäjän, tenantin ja roolin palvelinpuolen autentikointikontekstista, eivät mallin argumenteista.
- [ ] Jokainen työkalu validoi argumentit skeemalla ja liiketoimintasäännöillä.
- [ ] Jokainen työkalu valvoo valtuutusta mallista riippumatta.
- [ ] Kirjoitustyökalut ovat mahdollisuuksien mukaan idempotentteja.
- [ ] Ulkoiset sivuvaikutukset edellyttävät ihmisen hyväksyntää tai deterministisiä käytäntötarkistuksia.
- [ ] Nopeusrajat, kiintiöt ja kustannusrajat on määritetty.
- [ ] Työkalukutsut lokitetaan käyttäjän, tenantin, työnkulun, kehoteversion, mallin, argumenttiyhteenvedon ja tuloksen kanssa.

## 6. Tulosteen validointi

- [ ] Mallin tuloste jäsennetään tiukalla skeemalla ennen käyttöä.
- [ ] Tuntemattomat kentät hylätään, kun sopimuksen pitäisi olla suljettu.
- [ ] URL:t, Markdown, HTML, tiedostonimet ja koodilohkot puhdistetaan tarvittaessa.
- [ ] Tulosteet eivät voi sisältää dataluokkia tehtävän sallitun laajuuden ulkopuolelta.
- [ ] Faktaliset vastaukset yksityisten lähteiden yli edellyttävät lähde-ID:itä tai lähdeotteita.
- [ ] Väärin muotoiltu tuloste epäonnistuu suljetusti eikä palaa vapaaseen tekstiin.

## 7. Regressiotestit

- [ ] Suora injektiotesti: käyttäjäsyöte pyytää mallia ohittamaan ohjeet.
- [ ] Epäsuora injektiotesti: haettu sisältö pyytää mallia paljastamaan dataa tai kutsumaan työkalua.
- [ ] Cross-tenant-testi: pyyntö yrittää käyttää toisen tenantin dataa.
- [ ] Turvaton työkalukutsutesti: malli pyytää ei-saatavilla olevaa tai kiellettyä toimintoa.
- [ ] Väärin muotoillun tulosteen testi: ylimääräiset kentät tai virheelliset enum-arvot hylätään.
- [ ] Exfiltraatiotesti: tuloste yrittää sisältää salaisuuksia, yksityistä dataa tai kehotetekstiä.
- [ ] Pysyvyystesti: tallennettu sisältö sisältää haitallisia ohjeita, jotka haetaan myöhemmin.
- [ ] Multimodaalinen testi tarvittaessa: OCR:llä tai kuvassa näkyvät ohjeet käsitellään epäluotettavina.

## 8. Valvonta ja häiriötilanteisiin vastaaminen

- [ ] Kehotteen poimintayritykset ovat havaittavissa.
- [ ] Toistuvat validaattorivirheet hälyttävät.
- [ ] Epätavallinen haun laajuus, työkalukutsujen määrä, ulkoiset vastaanottajat, kustannus- tai nopeuspiikit hälyttävät.
- [ ] Kehoteinjektiopyritykset voidaan linkittää käyttäjään, tenantiin, työnkulkuun, lähde-ID:ihin ja työkalukutsuihin.
- [ ] Tiimi tietää, miten työnkulku tai yksittäiset työkalut poistetaan käytöstä.
- [ ] Tiimi tietää, miten tarjoajan avaimet perutaan ja vaikutetut tunnukset kierretään.
- [ ] Asiakas-, oikeudellisille, tietoturva- ja viranomaisilmoituspäätöksille on omistaja.

## Julkaisuportti

Älä merkitse työnkulkua tuotantovalmiiksi ennen kuin:

- [ ] Kaikilla merkittävillä toimilla on portti.
- [ ] Vähintään yksi vastustava asiakirjatesti on läpäisty.
- [ ] Vähintään yksi luvaton pääsyritys on epäonnistunut turvallisesti.
- [ ] Vähintään yksi turvaton työkalukutsuyritys on epäonnistunut turvallisesti.
- [ ] Vähintään yksi väärin muotoillun tulosteen testi on epäonnistunut suljetusti.
- [ ] Vähintään yksi työnkulun poiskytkentäpolku on testattu.