„Privaatne AI“ võib tähendada kõike alates lausest „lülitasime SaaS-kontol treenimise välja“ kuni lauseni „käitame avatud kaaludega mudeleid enda taristul“. Need ei ole sama kontrollipiir.
VKE jaoks sõltub õige privaatse AI arhitektuur andmetest, ülesandest, kvaliteedinõudest ja tiimi võimest infrastruktuuri opereerida. Kõige privaatsem valik ei ole alati parim. Kõige võimekam valik ei pruugi andmete jaoks sobida. Odavaim valik võib muutuda kalliks, kui see vajab pidevat inseneritähelepanu.
Artikkel annab otsustuskaardi. Kasuta selle kõrval esmast GDPR-i teksti, NIST AI Risk Management Frameworki, teenusepakkujate lepinguid ja andmekontrollide dokumentatsiooni ning valitud käitusmootori turbejuhendit, näiteks vLLM-i turbejuhendit.
Alusta andmete klassifitseerimisest, mitte mudelieelistusest. Nõrgem mudel õiges privaatsuspiiris on parem kui tipptasemel mudel, mis saab andmeid, millele tal ei tohiks ligipääsu olla.
Viis juurutusmustrit
| Muster | Mis see on | Võimalik sobivus | Peamine piirang |
|---|---|---|---|
| Ettevõtte SaaS | Äritase halduse, SSO, säilituse ja treeningust loobumisega | Enamik tavapärast ettevõttetööd | Andmed lahkuvad ikka sinu keskkonnast |
| VPC või privaatpilv | Hallatud mudeli lõpp-punkt kontrollitud pilvepiiris | Konfidentsiaalsed töökoormused, mis vajavad tugevamat eraldust | Kõrgem kulu ja seadistus |
| Ise hostitud inferents | Käitad avatud mudeleid enda taristul | Piiratud andmed, kohandatud mudelid, mahuökonoomika | Käituskoormus |
| Kohalikud seadmemudelid | Mudel töötab sülearvutis, tööjaamas või servaseadmes | Võrguühenduseta, tundlikud ja väikese viivitusega kitsad ülesanded | Väiksemad mudelid ja seadme piirangud |
| Hübriidsuunamine | Iga kasutusjuht suunatakse sobivasse kontrollipiiri | Erineva tundlikkusega kasutusjuhtude portfell | Nõuab järjekindlat klassifitseerimist |
Isiklikud tarbijakontod ei paku tavaliselt organisatsiooni keskselt hallatud identiteedi-, säilitus-, ühenduste, lepingulisi ega auditiseadeid. Ettevõtte poliitika peab määrama, kas ja milliste andmete jaoks on need üldse lubatud.
Organisatsioon võib vajada üht mustrit või juhitud portfelli. Eesmärk on valida ja uuesti valideerida iga heakskiidetud kasutusjuhu kontrollipiir, mitte käsitleda üht tootemärgist püsiva tagatisena.
Klassifitseeri andmed esimesena
Allolevad neli rühma on näitlik lähtetaksonoomia. Ühilda nimetused ja käitlusreeglid organisatsiooni tegeliku teabeklassifikatsiooni ning õiguslike nõuetega.
| Andmed | Näited | Vaikimisi AI-piir |
|---|---|---|
| Avalik | Veebitekstid, avaldatud dokumendid, avalik uurimus | Heakskiidetud tööriist pärast õiguste, autentsuse, promptisüsti ja tingimuste kontrolli |
| Sisemine | Protsessimärkmed, anonüümitud näited, mittetundlikud mustandid | Ettevõtte SaaS |
| Konfidentsiaalne | Kliendiandmed, lepingud, lähtekood, finantsid, strateegia | Kontrollidega ettevõtte SaaS, VPC või ise hostitud |
| Piiratud | Terviseandmed, advokaadi kutsesaladus, personaliuurimised, reguleeritud kirjed | Õigus- ja turbeülevaatus; vajalik võib olla heakskiidetud kohalik, VPC, ise hostitud või AI-ta lahendus |
See klassifikatsioon ennetab tavalist viga: sama assistenti kasutatakse avalike blogimustandite ja konfidentsiaalsete kliendikirjete jaoks, sest nii on mugav.
Autentimisandmed, privaatvõtmed, autentimistokenid ja taastekoodid ei ole mudeli suunamiskategooria. Välista need promptidest, otsingukorpustest, telemeetriast ja mudelile kättesaadavatest tööriistadest. Kasuta saladuste haldurit ja kitsalt piiritletud käitusaegset sisestamist juhul, kui deterministlik integratsioon vajab autentimisandmeid.
Muster 1: ettevõtte SaaS vaikimisi
Ettevõtte SaaS võib olla väikseima käituskeerukusega kandidaat. Tootenimed, paketitingimused ja lepingud muutuvad; kontrolli iga kaalutava paketi puhul järgmist:
- Lepingulised andmekasutuse ja mudeli treenimise tingimused.
- Halduskontrolle.
- SSO-d ja ligipääsuhaldust.
- Säilituskontrolle.
- Auditilogisid.
- Turbedokumentatsiooni.
- Tarnijatuge.
Need juhtelemendid võivad toetada heakskiidetud tööd, kuid paketi ostmine ei tõenda, et konkreetse andmekategooria või töövoo kasutamine on õiguspärane või turvaline.
Võti on konfiguratsioon. Tiimiplaani ostmisest ei piisa. Seadista säilitus, jagamine, ühenduste ligipääs, kinnitatud tööruumid ja andmereeglid.
Muster 2: VPC või privaatpilv
VPC või privaatpilve muster võib sobida siis, kui andmed võivad rakendusest lahkuda, kuid peavad püsima kindlaksmääratud pilve- ja lepingupiiris. „VPC sees“ ei tõenda, et iga juhtkihi, mudeliteenuse, logi, toe või varukoopia tee sinna jääb; kaardista ja testi kogu andmevoog.
- Klienditoe assistent konfidentsiaalsete piletite peal.
- Sisemine teadmisteassistent tundlike dokumentide peal.
- Lepingute või arvete dokumendiväljavõte.
- Valdkonnaspetsiifiline assistent, kus vajad tugevamat andmeeraldust kui SaaS.
Võimalikud eelised, mida tuleb kontrollida:
- Tugevam eraldus valitud teenusedisaini raames.
- Rohkem kontrolli võrgu ja logide üle.
- Tõendid, mis võivad vastata kindlaksmääratud hankenõuetele.
- Teistsugune tööjaotus kui täieliku isehostimise puhul.
Võimalikud piirangud, mille hinda ja mõju tuleb testida:
- Hind võib mõõdetud töökoormuse puhul ületada jagatud SaaS-paketi hinna.
- Rohkem integratsiooni- ja platvormitööd.
- Mudelivalik võib olla kitsam.
- Sõltud endiselt teenusepakkuja infrastruktuurist.
Käsitle seda ühe võimaliku kesktee, mitte iga VKE vaikimisi lahendusena.
Muster 3: ise hostitud inferents
Isehostimine tähendab, et käitad mudeli käituskeskkonda, näiteks vLLM-i, TGI-d, SGLangi, llama.cpp-d, Ollamat või muud teeninduspinu. See võib olla mõistlik, kui:
- Andmed ei tohi sinu keskkonnast lahkuda.
- Vajad kohandatud või peenhäälestatud avatud mudelit.
- Inferentsimaht õigustab taristut.
- Latentsus või saadavus nõuab otsest kontrolli.
- Sul on inimesed, kes suudavad seda opereerida.
Ära hosti ise ainult seetõttu, et see tundub puhtam. Operatsioonikulu on päris: GPU-maht, seire, uuendused, turvapaigad, mudeli hindamine, skaleerimine ja intsidentidele reageerimine.
Isehostimine on õigele organisatsioonile tugev valik. Väikesele tiimile ilma ML-infrastruktuuri kogemuseta võib see muutuda hapraks kõrvalprojektiks.
Muster 4: kohalikud seadmemudelid
Kohalikud mudelid võivad sobida privaatsustundlikuks individuaalseks tööks, kui kogu seadme-, uuendus-, telemeetria-, varundus- ja juurdepääsupiir on kontrollitud:
- Lokaalsete märkmete kokkuvõtmine.
- Privaatsetest dokumentidest mustandite tegemine.
- Sisemiste lõikude klassifitseerimine.
- Offline välitöö.
- Servatöövood, kus latentsus loeb.
Kvaliteedierinevus sõltub ülesandest ja mudelist. Hinda kohalikku kandidaati esinduslike kokkuvõtte-, liigitus-, väljavõtte- või mustandiülesannetega, selle asemel et eeldada samaväärsust või alaväärsust.
Kasuta kohalikku mudelit ainult siis, kui see läbib ülesandepõhise hindamise ja kogu kohalik kontrollipiir on heaks kiidetud. „Töötab seadmes“ ei tõenda iseenesest privaatsust.
Muster 5: hübriidsuunamine
Hübriidlahendus võib suunata töökoormused heakskiidetud andmeklassi järgi:
- Avalikud ja madala riskiga ülesanded lähevad ettevõtte SaaS-i.
- Konfidentsiaalne otsing toimub privaatse RAG-süsteemi sees.
- Piiratud andmete väljavõte kasutab üksnes eraldi heakskiidetud kohalikku, VPC, ise hostitud või AI-ta teed pärast kogu andmevoo ülevaatamist.
- Lõplik mustand võib kasutada tippmudelit pärast tundlike väljade eemaldamist.
- Logid ja hindamised otsustavad, kas iga marsruut töötab.
Hübriidsuunamine võib sobitada eri kirjed erinevate heakskiidetud kontrollipiiridega. See vajab jõustatavat poliitikat, mitte ainult promptipõhist klassifitseerimist:
- Andmete klassifikatsioon enne suunamist.
- Redaktsioon seal, kus võimalik.
- Selge mudelite ja tööriistade lubatud nimekiri.
- Logid, mis salvestavad kasutatud piiri.
- Tagavaratee, kui privaatne mudel ülesannet ei suuda.
Otsustusraamistik
Küsi kuus küsimust:
- Mis andmed mudelisse sisenevad? Avalikud, sisemised, konfidentsiaalsed, piiratud.
- Mis on väljundi mõju? Mustand, soovitus, otsus, kliendile suunatud tegevus.
- Mis kvaliteet on vajalik? Määra ülesandepõhised täpsuse, ohutuse, viivituse, keeldumise ja inimese ülevaatuse sihid, mitte sildid nagu „eksperttase“.
- Mis latentsus on vajalik? Interaktiivne, partiitöö, reaalajas, võrguühenduseta.
- Mis käitusvõimekus on olemas? Taristutiimi pole, rakendustiim, platvormitiim või MLOps-tiim.
- Millist tõendit kliendid või regulaatorid vajavad? Tarnijadokumendid, logid, andmeresidentsus, auditijälg, eraldus.
Vali madalaima keerukusega muster, mis rahuldab andmete ja kvaliteedi vajadused.
Ära tee seda veel
Ära hosti ise enne töökoormuse ja kvaliteedinõude mõõtmist.
Ära saada piiratud andmeid tarbijatööriistadesse.
Ära eelda, et “avatud lähtekood” tähendab privaatset. See on privaatne ainult siis, kui juurutus, logid, ligipääs ja andmevoog on privaatsed.
Ära juuruta AI-väravat ilma identiteediteadliku, poliitikaga jõustatud andmeklassifikatsiooni ja vaikimisi keelavate suunamisteedeta. Keskne värav võib poliitikat jõustada ainult siis, kui möödaviigud, varuteed, logid ja tõrkekäitumine on testitud.
Ära ignoreeri hindamisi. Privaatne, kuid vale, on endiselt vale.
Praktiline VKE lähtepunkt
Üks võimalik VKE lähtepunkt, mis vajab ülevaatust:
- Kinnita üks ettevõtte SaaS-assistent üldtööks.
- Kirjuta andmeklassifikatsiooni reegel.
- Blokeeri piiratud andmed, kui need pole üle vaadatud.
- Ehita üks privaatne RAG või VPC töövoog kõige väärtuslikumale konfidentsiaalsele kasutusjuhule.
- Kasuta lokaalseid mudeleid kitsaste tundlike ülesannete jaoks, kus kvaliteet on piisav.
- Vaata isehostimist uuesti alles siis, kui privaatsus, kohandamine või kulu seda selgelt õigustab.
See loob etapiviisilise otsustustee. Lõimitud ja vaikimisi andmekaitse nõuab siiski dokumenteeritud eesmärgi, minimeerimise, juurdepääsu, säilitamise, kustutamise, töötleja, edastamise ning turbe otsuseid (Euroopa Komisjoni juhend).
Arhitektuur andmete, riski ja käituse järgi
Privaatne AI on andmete, riski ja käitusvõimekusega sobitatud arhitektuur. Portfell võib olla asjakohane, kuid iga suunamistee vajab selget omanikku ja kontrollitud piiri.
Vali andmete, mõju, kvaliteedi, viivituse, käitusvõimekuse ja tõendite põhjal.
