Turvallinen RAG-dokumentin sisällytyslista

Käytä tätä ennen kuin julkaistetaan dokumentteja hakua hyödyntävään generointijärjestelmään.

Lähdekirjautuminen

• Lähteen omistaja on nimetty.
• Tietojen omistaja on nimetty.
• Pääjärjestelmä on dokumentoitu.
• Sallitut käyttäjät, roolit tai ryhmät on dokumentoitu.
• Arviointitaso on määritelty.
• Päivitystarkkuus on dokumentoitu.
• Tietojen säilytys ja poistotapa on dokumentoitu.
• Tarkastusten taajuus on määritelty.

Tiedoston turvallisuus

• Tiedostotyypin sallijalistaus on käytössä.
• Tiedostokoko-rajaus on käytössä.
• Malware-skanointi tai sisällön poistaminen on päätetty.
• Salaattu tai tukematon tiedosto hylätään tai ohjataan tarkastukseen.
• Alkuperäisen tiedoston hash tallennetaan.
• Lataaja tai lähtevä tapahtuma on kirjattu.

Poiminta ja OCR

• Poimintamenetelmä on dokumentoitu.
• OCR:n luotettavuus on dokumentoitu tarpeen mukaan.
• Sivumäärä ja poimittu merkkimäärä on dokumentoitu.
• Tyhjät tai epäonnistuneet sivut on merkitty.
• Taulukot tarkastetaan, kun tarkan arvon mukaan toimitaan.
• Lähdekielellä on havaittu.
• Pieni laatu poimitaan tai ohjataan tarkistukseen.

Metatiedot ja oikeudet

• Jokaisella osalla on lähteen ID ja dokumentin ID.
• Jokaisella osalla on vuokraajan/käyttäjän/roolin näkyvyystietoja.
• Jokaisella osalla on lähteen omistaja ja arviointitasotiedot.
• Jokaisella osalla on versio tai sisältöhash.
• Jokaisella osalla on sivu tai osioviite, jos mahdollista.
• Hakutulosten suodatus toteutetaan ennen arviointia.
• Väärin kirjautuneet käyttäjät hakevat nollaa rajoitettuja osia testissä.

Säilytys ja poisto

• Alkuperäisen tiedoston välimuistin poistotie on olemassa.
• Poimitun tekstin poistotie on olemassa.
• Osan poistotie on olemassa.
• Vektorin/embeddingin poistotie on olemassa.
• Yhteenveto/välimuistin poistotie on olemassa.
• Logit ja varmuuskopioiden säilytysnäytöt noudattavat dokumentoituja säilytysohjeita.
• Poiston vahvistus on kirjattu.

Julkaisujärjestelmä

• Näytekysymykset hakevat odotettuja lähteitä.
• Vanhat lähteet poistetaan tai merkitään.
• Lähdeviitteet viittaavat kelvollisiin lähteviitepaikkoihin.
• Prompt-injektio teksti dokumenteissa käsitellään sisältönä, ei ohjeena.
• Lähteen omistaja on hyväksynyt tuotantosisällön indekoinnin.