RAG ehk otsinguga täiendatud genereerimine (Retrieval-Augmented Generation) kirjeldab mustrit, kus süsteem otsib küsimusega seotud materjali ja annab selle vastuse koostamise ajal mudelile. Tarbijatooted võivad pakkuda dokumendipõhist vestlust, ilma et peaksid ise otsingutaristut ehitama. Seadistatavad platvormid ja API-d annavad rohkem kontrolli, kuid lisavad ka arendus-, hindamis- ja haldustööd.
Kasulik eesmärk pole kõike üles laadida ega luua üldist vestlusrobotit, millele on sinu failid külge pandud. Eesmärk on ehitada piiritletud assistent, mille allikakogu, õigusi, otsingukäitumist, viiteid ja piire saad kontrollida.
Ära laadi üles lepinguid, kliendikirjeid, personalifaile, lähtekoodi, pääsuandmeid, terviseandmeid, kutsesaladusega kaitstud materjali ega muud konfidentsiaalset või reguleeritud sisu enne, kui konkreetne teenus, konto, piirkond, säilitussätted, jagamise juhtelemendid ja organisatsiooni põhimõtted on selleks heaks kiidetud. Kasuta ainult ülesandeks vajalikku minimaalset allikamaterjali.
Mida isiklik RAG teeb
Tüüpilisel otsingutöövool on neli etappi:
- Sisestamine. Süsteem impordib dokumendid või loob ühenduse heakskiidetud allikaga.
- Indekseerimine. See valmistab materjali otsinguks ette, sageli eraldades teksti, jagades selle lõikudeks ja luues otsitavad esitused.
- Otsing. Küsimuse põhjal valitakse näiliselt asjakohased lõigud.
- Genereerimine. Mudel kasutab küsimust ja leitud lõike vastuse koostamiseks, mõnikord koos viidete või allikalinkidega.
Kõik tooted ei rakenda neid etappe ühtemoodi. Mõni projektitööruum võib väiksema teadmuskogu esmalt otse mudeli konteksti asetada ja minna otsingule üle alles hiljem. Käsitle siin „isiklikku RAG-i“ praktilise kategooriana piiritletud dokumendiassistentide jaoks ning kontrolli seejärel valitud toote tegelikku toimemehhanismi ja juhtelemente.
Otsing annab ligipääsu värskele, privaatsele või nišimaterjalile, mida baasmudel ei pruugi teada. Kui otsing ja genereerimine töötavad hästi, võib see vähendada põhjendamata vastuseid käsitlusalasse kuuluvatele küsimustele. See ei taga, et leiti õige lõik, et lõik on kehtiv, et mudel tõlgendas seda õigesti ega et vastuse iga lause on allikaga põhjendatud.
Määra edu vaadeldavate tunnuste kaudu: assistent leiab asjakohase allika, viitab toetavale lõigule või tuvastab selle, säilitab allika mõtte ja ebakindluse, käsitleb asendatud materjali õigesti, järgib õigusi ning keeldub küsimustest, millele heakskiidetud allikakogu ei vasta, või märgistab need selgelt.
Kolm teostusviisi
Allpool on hallatud allikamärkmik, projektitööruum ja seadistatav otsingutöötlusahel. See pole paremusjärjestus.
1. tee: Gemini Notebook
Gemini Notebook, varasema nimega NotebookLM, on valitud allikate ümber ehitatud hallatud uurimismärkmik. Google’i allikadokumentatsioon loetleb toetatud impordiviisid ning selgitab, et Drive’i allikad võivad automaatselt sünkroonida, samal ajal kui teistel allikatüüpidel on erinev impordikäitumine. Vestlus võib tagastada tekstisiseseid viiteid, ehkki Google märgib, et mõnes vastuses ei pruugi lõigutaseme viidet olla ja süsteem võib eksida.
Kasulik siis, kui soovid piiritletud allikakogu jaoks interaktiivset märkmikku ning hindad liidest, kus saab vaadata allikalõike ja genereeritud õppematerjale või ülevaatevorme.
Kontrolli enne kasutamist oma paketi allika- ja päringupiire, kas iga allikas on koopia või automaatselt sünkroonitud versioon, millised veebilehe või faili osad imporditakse, kontopõhist andmetöötlust, jagamist ning seda, kas sinu tegelike dokumenditüüpide ja küsimuste puhul viited kuvatakse.
2. tee: Claude Projects
Claude Projects pakub projektijuhiseid, teadmusfaile ja projektiga piiritletud vestlusi. Anthropic dokumenteerib automaatse RAG-režiimi laiendatud projektiteadmiste jaoks sobivatel tasulistel pakettidel. Üles laaditud teadmised võivad anda konteksti, kuid olenevalt lubatud funktsioonidest võib vastus kajastada ka vestlust, juhiseid, ühendusi, veebitulemusi või mudeli teadmisi.
Kasulik siis, kui soovid korduvkasutatavat projektitööruumi, kus juhised, dokumendid ja vestlused püsivad koos.
Kontrolli enne kasutamist paketi- ja organisatsioonijuhtelemente, projekti nähtavust, toetatud faile, teadmiste mahtu, seda, kas projekti jaoks on otsing aktiivne, allikaviidete käitumist, ühendusi või veebiotsingut, säilitamist ja jagamist. Ära eelda, et ladus vastus pärineb projektifailist, kui sa ei saa selle päritolu jälitada.
3. tee: hallatud või kohandatud otsingutöötlusahel
Seadistatav töötlusahel võib ühendada sisestamise, parsimise, tükeldamise, manused, otsinguindeksi või vektorandmebaasi, otsingu, ümbersortimise, mudeli ja liidese. Selle võib ehitada koodiga, töövooplatvormil nagu n8n, visuaalraamistikuga nagu Langflow või Flowise või hallatud API-ga. Näiteks OpenAI failiotsingu dokumentatsioon kirjeldab hallatud Responses API tööriista, mis otsib faile vektorandmebaasidest. Teistel pakkujatel on teistsugused otsingu- ja andmekontrolli lepingud.
Kasulik siis, kui vajad automaatset sünkroonimist, metaandmefiltreid, rakendusega lõimimist, kohandatud ligipääsukontrolle, vaadeldavat otsingut või korratavat hindamist, mida hallatud märkmik ei ava.
Kontrolli enne kasutamist autentimist, dokumenditaseme volitamist, kustutamist ja õiguste tühistamist, rentnike eraldatust, krüpteerimist, piirkonda, säilitamist, parseri kvaliteeti, indeksi värskust, otsinguloge, mudeli andmetingimusi, dokumentidest pärinevat promptisüsti, seiret ja hoolduse omanikku.
Vali nõuete ja tõendite põhjal
Kasuta siltide „lihtsaim“, „paindlikem“ või „võimsaim“ asemel otsustustabelit:
| Nõue | Küsimused, millele vastata | Kuidas kontrollida |
|---|---|---|
| Allikatüübid | Kas see suudab sisestada faile, lehti, tabeleid, pilte ja keeli, mida päriselt kasutad? | Testi esinduslikke allikaid, sealhulgas keerulisi vorminguid. |
| Värskus | Kas see kopeerib, sünkroonib või pärib autoriteetsest allikast? Kuidas levivad uuendused ja kustutamised? | Muuda ja tühista testallikas, seejärel kontrolli tulemust. |
| Otsingukvaliteet | Kas see leiab päris küsimuste vastamiseks vajaliku lõigu? | Käita märgendatud küsimustikku ja kontrolli leitud tõendeid. |
| Viidete jälitatavus | Kas ülevaataja jõuab täpse allika ja lõiguni? | Vali viidetest valim ja võrdle neid vastuse väidetega. |
| Käsitlusala kontroll | Kas saad eraldada allikakogu tõendid veebi- või mudeliteadmistest? | Küsi vastatavaid, mitmetähenduslikke ja allikakogust välja jäävaid küsimusi. |
| Õigused | Kas iga otsing jõustab allika sihtrühma ja kehtiva ligipääsu? | Testi erinevate õigustega kasutajatega. |
| Käitus | Kas saad tõrkeid jälgida, turvaliselt uuesti indekseerida, andmeid kustutada ja omanikku määrata? | Katseta uuendamise, kustutamise, katkestuse ja tagasipööramise teid. |
| Kulu ja latentsus | Kas kogu töövoog on realistliku mahu juures vastuvõetav? | Mõõda sisestamist, salvestust, päringuid, ülevaatusaega ja hooldust. |
Õige tee on kõige vähem keerukas variant, mis läbib sinu kasutusjuhuks nõutud kontrollid.
Ehita piiritletud piloot
Järgmine järjestus sobib hallatud märkmikele, projektitööruumidele ja seadistatavatele töötlusahelatele.
1. samm: määra käsitlusala ja autoriteet
Pane kirja:
- küsimused, millele assistent peaks vastama;
- küsimused, millele ta ei tohi vastata;
- kavandatud kasutajad ja otsuste kaal;
- millised allikatüübid on autoriteetsed, toetavad või välistatud;
- ülevaatuse omanik ja eskaleerimistee;
- iga allikaklassi nõutud värskuse või kehtiva versiooni reegel.
Värskus sõltub valdkonnast. Ajalooline teadustöö võib oma leiu jaoks jääda autoriteetseks, samal ajal kui hinnakiri, turvaprotseduur, maksureegel, tootepoliitika või õigusakt võib olla ohtlik kohe, kui see asendatakse. Talleta avaldamiskuupäev, vajaduse korral jõustumiskuupäev, jurisdiktsioon, versioon ja sündmus, mis peaks käivitama ülevaatuse. Ära kasuta kõigi dokumentide jaoks üht meelevaldset vanusepiiri.
2. samm: kiida andmepiir heaks
Liigita allikad enne sisestamist. Kinnita sobiva turbe-, privaatsus-, õigus- või andmeomanikuga teenus, konto, piirkond, säilitamine, treeningutingimused ja jagamise juhtelemendid. Hoia eri sihtrühmad eraldi hoidlates või projektides ning avalda ainult seda, mida iga assistent vajab.
| Piir | Ohutum muster | Ohtlik otsetee |
|---|---|---|
| Isiklik õppimine | Sinu märkmed ja avalikud allikad isiklikus tööruumis | Töödokumendid segatud tarbijakontole |
| Tiimi teadmised | Heakskiidetud tiimiomandis allikad koos vastavate õigustega | Osakondadeülene materjal kopeeritud ühte jagatud projekti |
| Klienditugi | Heakskiidetud avalik abisisu ja ligipääsukontrolliga kirjed | Kliendikirjed segatud laialt jagatud teadmusbaasi |
| Õigus või vastavus | Kehtiv esmane õigus ja juristi heakskiidetud juhised avaliku õiguse kogus | Kutsesaladusega märkmed, lepingumustandid ja avalikud juhised ühes kogus |
Projekti või märkmiku eraldatus on kasulik ainult siis, kui konto- ja jagamisjuhtelemendid seda jõustavad. Kohandatud süsteemis peab volitamine rakenduma otsingu ajal, mitte üksnes dokumentide üleslaadimisel.
3. samm: loo allikaregister
Talleta iga allika kohta:
- püsiv allika ID ja pealkiri;
- omanik ja heakskiidetud sihtrühm;
- algne asukoht ja sisestamisviis;
- autoriteeditase ja jurisdiktsioon;
- vajaduse korral avaldamis-, jõustumis-, ülevaatus- ja asendamiskuupäev;
- versioon või kontrollsumma;
- konfidentsiaalsuse klass ja kustutamise omanik.
Artikliga lingitud allikaauditi mall annab lihtsa lähtetabeli.
4. samm: valmista ette ja sisesta esinduslikud dokumendid
Alusta allikakogust, mis katab kasutusjuhu päris vormingud ja tõrkerežiimid. Kontrolli eraldatud teksti, tabeleid, pealkirju, allmärkusi ja skannitud lehti. Puhas tekstiteisendus, väiksemad failid või teistsugused jaotiste piirid võivad ühe allikakogu otsingut parandada ja teise oma halvendada. Käsitle dokumentide ettevalmistust ja tükeldamisvalikuid hüpoteesidena ning võrdle neid samadel küsimustel.
Kirjeldavad failinimed ja allika metaandmed võivad aidata ülevaatajal tõendeid tuvastada, kuid ära eelda, et mudel tuletab failinimest usaldusväärselt autoriteedi või kuupäevad. Talleta need väljad võimaluse korral eraldi.
5. samm: kirjuta vastuseleping
Algne juhis võiks olla:
Vasta [sihtrühmale ja eesmärgil] heakskiidetud allikakogu põhjal.
Iga sisulise faktiväite juures:
- tuvasta allikas ja toetav jaotis või lõik, kui liides seda võimaldab;
- säilita mööndused, jurisdiktsioon ja jõustumiskuupäevad;
- märgista iga järeldus järeldusena;
- too allikate vastuolud esile, mitte ära vali üht vaikimisi.
Kui heakskiidetud allikad küsimusele ei vasta, ütle see piir selgelt välja.
Ära kasuta veebi- ega mudeli üldteadmisi, kui ma pole neid sõnaselgelt lubanud, ja märgista lubatud väline teave eraldi.
Eskaleeri [suure kaaluga kategooriad] [ülevaatuse omanikule].
Juhised mõjutavad genereerimist, kuid ei tõesta, et otsing, viitamine või keeldumine toimib. Testi iga nõuet.
6. samm: hinda enne tavakasutust
Koosta märgendatud kogum päris ülesannetest. Lisa selge vastusega küsimused, mitut allikat vajavad küsimused, vastuolud, asendatud allikad, käsitlusalast välja jäävad päringud ja õiguste piirid. Talleta iga juhtumi kohta oodatud allikas, vastuse lubatud osad, keelatud väited ja oodatud eskaleerimine.
Kontrolli eraldi vähemalt kolme kihti:
- Otsing: kas süsteem tõi esile vastamiseks vajalikud lõigud?
- Genereerimine: kas vastus kajastas neid lõike täpselt ega tugevdanud väiteid?
- Haldus: kas süsteem järgis allikate ligipääsu, käsitlusala, värskuse ja eskaleerimise reegleid?
Sea lävendid oma kasutusjuhu tagajärgede järgi. Õpiabilisel ja õigus- või kliendimaterjali ettevalmistaval assistendil ei peaks olema sama vastuvõtulävend.
7. samm: määra käituse omanikud
Määra omanik allikauuendustele, ligipääsu ülevaatustele, hindamiste korduskäitamisele, intsidentide käsitlemisele ja kustutamisele. Hinda süsteemi uuesti pärast allikakogu, parseri, otsinguseadistuse, mudeli, prompti, tootepaketi või jagamispõhimõtete sisulisi muutusi. Kalendrimeeldetuletusest võib abi olla, kuid muutusest käivituv ülevaatus on meelevaldsest igakuisest rituaalist tähtsam.
Jäiga eraldusega õigusteabe näide
Oletame, et soovid assistenti Eesti tööõiguse ja EL-i andmekaitse jaoks.
Koosta avaliku õiguse allikakogu kehtivatest esmastest allikatest, näiteks Riigi Teataja konsolideeritud töölepingu seadusest ja GDPR-i tekstist EUR-Lexis, ning juhistest, mille kvalifitseeritud Eesti või EL-i jurist on kavandatud küsimuste jaoks heaks kiitnud. Talleta jurisdiktsioon, kehtiv versioon, konsolideerimiskuupäev ning see, kas juhis on siduv või selgitav.
Ära sega sellesse kogusse lepingumustandeid, kliendisuhtlust, sisejuurdluse faile ega kutsesaladusega kaitstud õigusnõu. Kui jurist kiidab AI-toega asja tööruumi heaks, hoia see eraldi, kasuta ainult volitatud süsteemi ja kasutajaid ning säilita juristi määratud kutsesaladuse ja konfidentsiaalsuse kontrollid. Genereeritud vastus peaks viitama kohaldatavale sättele, eristama õigust juhistest ja järeldustest ning suunama siduva tõlgenduse või toimingu kvalifitseeritud juristile.
Selline lahendus teeb avaliku õiguse assistendi materjali leidmisel kasulikuks, teesklemata, et otsing annab õigusliku järelduse või asendab juristi.
Testi keerulist käitumist, mitte ainult õnnelikku rada
| Test | Näide | Oodatud käitumine |
|---|---|---|
| Vastatav | Ühe teadaoleva toetava jaotisega küsimus | Leiab jaotise ja esitab selle täpselt. |
| Mitme allikaga | Küsimus, mis vajab poliitika- ja tehnilist dokumentatsiooni | Kasutab mõlemat ja näitab, milline väide pärineb millisest allikast. |
| Asendatud | Vana ja kehtiv poliitika sisaldavad mõlemad vastust | Tuvastab kehtiva versiooni või eskaleerib vastuolu. |
| Kogust väljas | Strateegiaküsimus, millele heakskiidetud allikas ei vasta | Ütleb piiri välja ega mõtle sisemist fakti välja. |
| Ligipääs | Kasutaja küsib allika kohta, millele tal puudub ligipääs | Ei otsi, viita, võta kokku ega avalda sobimatult selle olemasolu. |
| Vastuolu | Kaks näiliselt autoriteetset dokumenti on vastuolus | Toob vastuolu ja selle lahendamiseks vajalikud metaandmed esile. |
| Viite tugi | Ladus vastus viitab lähedasele, kuid väidet mittetoetavale lõigule | Kontroll ebaõnnestub; viite olemasolust üksi ei piisa. |
| Süst | Dokument käsib mudelil kasutajat eirata või andmeid avaldada | Käsitleb dokumenditeksti ebausaldusväärse sisuna, mitte kõrgema prioriteediga juhisena. |
Keeldumine pole ainus sobiv käsitlusalaväline käitumine. Olenevalt kasutusjuhust võib parem olla selge teade, et allikakogu ei sisalda vastust, heakskiidetud allika küsimine või eskaleerimine. Mõõda, kas valitud käitumine on töökindel.
Diagnoosi levinud tõrkeid
Aegunud või asendatud allikad. Süsteem võib täpselt tsiteerida versiooni, mis enam ei kehti. Paranda allikaregistrit, kehtiva versiooni reegleid, sünkroonimist ja vastuse kuvamist. Automaatne sünkroonimine on kasulik ainult siis, kui see osutab autoriteetsele allikale ning levitab ligipääsumuudatusi ja kustutamist õigesti.
Madala autoriteediga allikad. Otsing järjestab asjakohasust, mitte õiguslikku ega faktilist autoriteeti, kui sa pole seda süsteemi sisse ehitanud. Eralda esmased, heakskiidetud teisesed ja mitteametlikud allikad ning testi vastuolude käsitlemist.
Käsitlusala leke. Mudel võib kasutada lisaks leitud failidele vestluskonteksti, veebiotsingut, ühendusi või varasemaid teadmisi. Keela võimaluse korral mittevajalik kontekst, märgista lubatud väline kontekst ja testi allikakogust välja jäävaid küsimusi.
Parsimis- ja otsingumöödalasud. Tabelite, skannide, veergude, allmärkuste, diagrammide, koodiplokkide ja tavatu vormingu eraldamine võib olla kehv. Kontrolli parsitud esitust ja leitud lõike. Võrdle ettevalmistuse, tükeldamise, otsingu või ümbersortimise muudatusi märgendatud hindamiskogumil, mitte ära eelda ühe retsepti sobivust.
Viidetest tulenev liigne enesekindlus. Viide võib osutada päris lõigule, mis ei toeta lauset, toetab vaid osa sellest või on asendatud. Vali väite ja lõigu vastavusest valim ning nõua tagajärgedega väljundi puhul inimese kontrolli.
Õiguste triiv. Kopeeritud allikas võib jääda otsitavaks pärast algallikale ligipääsu muutumist. Testi õiguste tühistamist ja kustutamist. Kui risk seda nõuab, eelista ühendusi või arhitektuuri, mis suudab jõustada kehtivaid allikaõigusi.
Säilita üleandmisel päritolu
Kui vastus liigub üldisesse vestlusrobotisse, dokumenti, piletisse või otsusetöövoogu, vii selle päritolu kaasa. Lisa küsimus, allikate ID-d ja versioonid, toetavad lõigud või lingid, otsingukuupäev, genereeritud vastus, järelduste märgised, lahendamata vastuolud ja ülevaatuse olek. Anna järgmisele tööriistale üle ainult vajalik heakskiidetud osa allikamaterjalist.
Ilma sellise paketita võib hoolikalt allikapõhisest vastusest saada viitamata lõik, mida järgmine mudel käsitleb faktina. Paketiga saab järgmine ülevaataja eristada allikateksti, genereeritud kokkuvõtet, järeldust ja heakskiidetud otsust.
Millal ehitada rohkem kontrolli
Liigu hallatud märkmikust või projektist edasi siis, kui mõõdetud vajadused seda nõuavad, näiteks:
- hindamine näitab, et otsingukvaliteet allikakogu muutudes langeb;
- allikad vajavad automaatset sünkroonimist, kustutamist või õiguste pärimist;
- kasutajad vajavad assistenti rakenduses või kontrollitud kanalis;
- päringud vajavad metaandmefiltreid, hübriidotsingut, ümbersortimist või struktureeritud otsingut;
- vaadeldavuse, auditi, piirkonna, säilitamise või rentnike eralduse nõuded ületavad hallatud toote juhtelemente;
- kasutus- ja hoolduskulud õigustavad insenertehnilist omanikku.
Need on arhitektuurinõuded, mitte dokumentide arvu lävend. Väike tundlik allikakogu võib vajada kohandatud ligipääsumudelit, samal ajal kui suur avalik allikakogu võib hallatud teenuses hästi töötada.
Seadistatava süsteemi puhul kaalu hallatud otsingutööriistu, töövooplatvorme ja koodiraamistikke nagu LlamaIndex, LangChain või Haystack. Võrdle neid samade allika-, õiguse-, hindamis- ja käituskriteeriumide järgi, mitte selle põhjal, kui kiiresti demo valmib.
Arvesta täielikku kulu
Asjakohane kulu hõlmab tellimus- või API-tasusid, salvestust, manuseid või indekseerimist, värskendamist, hindamist, inimülevaatust, intsidentide käsitlemist ja hooldust. Hallatud toodetel võib olla tasuta või paketiga kaasnev ligipääs, mille piirangud sõltuvad paketist. Kohandatud süsteem võib olenevalt mahust ja käituslahendusest ühikukulu vähendada või suurendada.
Mõõda kogukulu dokumendiülesannete suhtes, mida assistent päriselt parandab. Piloot on edukas siis, kui see annab paremini põhjendatud, lihtsamini kontrollitavaid ja sobivalt piiritletud vastuseid, mitte pelgalt siis, kui vestlus tundub kiirem.
Alusta ühest kitsast valdkonnast, heakskiidetud esinduslikust allikakogust ja märgendatud hindamisest. Laienda alles pärast seda, kui süsteem on tõendanud otsingukvaliteeti, viidete tuge, kehtiva versiooni käsitlemist, õiguste jõustamist ja turvalist käsitlusalavälist käitumist. Selline distsipliin muudab failikausta dokumendiassistendiks, mida saad vastutustundlikult kasutada.
