Termillä ”yksityinen tekoäly” voidaan tarkoittaa mitä tahansa siitä, että ”estimme SaaS-palvelua käyttämästä tietojamme mallien koulutukseen”, aina siihen, että ”ajamme avoimilla painoilla julkaistuja malleja omassa infrastruktuurissamme”. Näiden hallintarajat eivät ole samat.
Pk-yritykselle sopiva yksityisen tekoälyn arkkitehtuuri riippuu tiedoista, tehtävästä, laatuvaatimuksesta ja tiimin kyvystä ylläpitää infrastruktuuria. Yksityisin vaihtoehto ei ole aina paras. Suorituskykyisin vaihtoehto ei välttämättä sovi käsiteltäville tiedoille. Halvin vaihtoehto voi tulla kalliiksi, jos se vaatii jatkuvaa teknistä ylläpitotyötä.
Tämä artikkeli tarjoaa päätöskartan. Käytä sen rinnalla GDPR-asetuksen tekstiä, NISTin tekoälyn riskienhallintakehystä, toimittajasopimuksia ja tietojen hallintaa koskevaa dokumentaatiota sekä valitun mallipalvelimen turvallisuusohjeita, kuten vLLM:n turvallisuusohjeita.
Aloita tietojen luokittelusta, älä mallin valinnasta. Vaatimattomampi malli oikean tietosuojarajan sisällä on parempi kuin huippumalli, jolle annetaan tietoja, joita sen ei pitäisi saada.
Viisi käyttöönoton mallia
| Malli | Mitä se on | Ehdokas sovellusalue | Päärajoitus |
|---|---|---|---|
| Yritystason SaaS | Yrityspaketti, jossa on hallinta, SSO, säilytysasetukset ja mahdollisuus estää tietojen käyttö mallien koulutukseen | Useimmat yrityksen tavanomaiset tehtävät | Tiedot poistuvat edelleen omasta ympäristöstäsi |
| VPC tai yksityinen pilvi | Hallittu mallirajapinta valvotun pilviympäristön sisällä | Luottamukselliset työkuormat, jotka vaativat vahvempaa eristystä | Suuremmat kustannukset ja enemmän käyttöönottotyötä |
| Itseisännöity päättely | Avoimia malleja ajetaan omassa infrastruktuurissa | Rajoitettu tieto, mukautetut mallit ja suuren mittakaavan kustannusedut | Ylläpitovastuu |
| Paikallisesti laitteessa ajettavat mallit | Malli ajetaan kannettavassa tietokoneessa, työasemassa tai reunalaitteessa | Verkkoyhteydetön käyttö sekä arkaluonteiset, tarkkarajaiset ja lyhyttä viivettä vaativat tehtävät | Pienemmät mallit ja laitteen rajoitukset |
| Hybridireititys | Kukin käyttötapaus reititetään sille sopivaan hallintaympäristöön | Eri arkaluonteisuusluokkia sisältävät käyttötapauskokonaisuudet | Vaatii kurinalaista luokittelua |
Henkilökohtaiset kuluttajatilit eivät yleensä tarjoa organisaation keskitetysti hallittuja tunnuksia, säilytysasetuksia, yhdistimiä, sopimusehtoja ja auditointiasetuksia. Yrityksen käytännöissä on määritettävä, sallitaanko tällaisia tilejä lainkaan ja millaisten tietojen käsittelyyn.
Organisaatio saattaa tarvita yhden mallin tai hallitun ratkaisukokonaisuuden. Tavoitteena on valita ja arvioida uudelleen kunkin hyväksytyn käyttötapauksen raja sen sijaan, että tuotemerkkiä pidettäisiin pysyvänä takeena.
Luokittele data ensin
Alla olevat neljä luokkaa ovat havainnollinen lähtötaksonomia. Sovita nimet ja käsittelysäännöt organisaation todellisen tietoluokittelun ja lainsäädännöllisten vaatimusten mukaisiksi:
| Tietoluokka | Esimerkit | Oletusarvoinen tekoälyn käyttöympäristö |
|---|---|---|
| Julkinen | Verkkosivuston teksti, julkaistut asiakirjat, julkinen tutkimus | Hyväksytty työkalu oikeuksien, aitouden, kehote-injektion ja ehtojen tarkastusten jälkeen |
| Sisäinen | Prosessimuistiinpanot, anonymisoidut esimerkit, ei-arkaluonteiset luonnokset | Yrityksen SaaS |
| Luottamuksellinen | Asiakastiedot, sopimukset, lähdekoodi, taloustiedot, strategia | Yritystason SaaS hallintatoimintoineen, VPC tai itseisännöity ympäristö |
| Rajoitettu | Terveystiedot, asianajosalaisuuden piiriin kuuluvat tiedot, henkilöstötutkinnat, säännellyt tietueet | Oikeudellinen ja tietoturva-arvio; saatetaan tarvita hyväksytty paikallinen, VPC-, itseisännöity tai tekoälytön reitti |
Tämä luokittelu estää yleisen virheen: saman avustajan käyttämisen julkisiin blogiluonnoksiin ja luottamuksellisiin asiakastietoihin kätevyyden vuoksi.
Salasanat, yksityiset avaimet, todennustunnukset ja palautuskoodit eivät ole mallireitityksen tietoluokka. Sulje ne pois kehotteista, hakukorpuksista, telemetriasta ja mallin käytettävissä olevista työkaluista. Käytä salaisuuksien hallintapalvelua ja välitä tunnus suorituksen aikana vain tarkasti rajattuun deterministiseen integraatioon.
Malli 1: Yritystason SaaS oletuksena
Yritystason SaaS voi olla ylläpidoltaan yksinkertaisin vaihtoehto. Tuotenimet, pakettien ominaisuudet ja sopimusehdot muuttuvat, joten tarkista jokaisesta arvioitavasta paketista seuraavat asiat:
- Sopimusehdot, jotka koskevat tietojen käyttöä ja mallien koulutusta.
- Hallintatoiminnot.
- SSO ja pääsyn hallinta.
- Säilytysasetukset.
- Auditointilokit.
- Tietoturvadokumentaatio.
- Toimittajan tuki.
Nämä kontrollit voivat tukea hyväksyttyä työtä, mutta tilauksen tekeminen ei takaa, että tietty dataluokka tai työnkulku on laillinen tai turvallinen.
Ratkaisevaa on määritys. Tiimipaketin ostaminen ei riitä. Määritä säilytys, jakaminen, yhdistimien käyttöoikeudet, hyväksytyt työtilat ja tietojen käsittelysäännöt.
Malli 2: VPC tai yksityinen pilvi
VPC- ja yksityisen pilven mallit soveltuvat harkittaviksi, kun tiedot voivat poistua sovelluksesta mutta niiden on pysyttävä määritellyn pilvi- ja sopimusrajan sisällä. Ilmaus ”VPC:n sisällä” ei todista, että jokainen hallintatason, mallipalvelun, lokituksen, tuen tai varmuuskopioinnin reitti pysyy siellä. Kartoita ja testaa koko tietovirta.
- Asiakastuen avustaja luottamuksellisten tikettien pohjalta.
- Sisäinen tietämysavustaja arkaluonteisten asiakirjojen pohjalta.
- Dokumenttien tiedonpoiminta sopimuksista tai laskuista.
- Alakohtainen avustaja, jossa tarvitset vahvemman datan eristyksen kuin SaaS:ssa.
Mahdolliset edut, jotka on varmistettava:
- Vahvempi eristys valitun palveluarkkitehtuurin mukaisesti.
- Verkkojen ja lokien parempi hallinta.
- Todisteet, jotka voivat täyttää määritellyt hankintavaatimukset.
- Erilainen vastuunjako kuin täysin itseisännöidyssä ratkaisussa.
Mahdolliset rajoitukset, jotka on hinnoiteltava ja testattava:
- Hinta voi ylittää jaetun SaaS-paketin hinnan mitatulla työkuormalla.
- Lisäintegraatio ja alustatyö.
- Mallivalinta voi olla kapeampi.
- Riippuvuus toimittajan infrastruktuurista säilyy.
Kohtele tätä yhtenä keskitason ehdokkaana, ei oletuksena kaikille pk-yrityksille.
Malli 3: Itse isännöity päättely
Itseisännöinti tarkoittaa, että ajat itse mallin ajoympäristöä, kuten vLLM:ää, TGI:tä, SGLangia, llama.cpp:tä, Ollamaa tai muuta palvelupinoa. Se on järkevää, kun:
- Data ei voi poistua ympäristöstäsi.
- Tarvitset mukautetun tai hienosäädetyn avoimen mallin.
- Päättelymäärä on niin suuri, että infrastruktuuri voi olla perusteltu.
- Viiveen tai saatavuuden tarpeet vaativat suoraa kontrollia.
- Sinulla on henkilöstöä, joka voi ylläpitää sitä.
Älä valitse itseisännöintiä vain siksi, että se tuntuu puhtaalta ratkaisulta. Ylläpidon kustannukset ovat todellisia: GPU-kapasiteetti, valvonta, päivitykset, tietoturvakorjaukset, mallien arviointi, skaalaus ja häiriötilanteisiin reagointi.
Itseisännöinti on vahva valinta oikealle organisaatiolle. Pienelle tiimille ilman ML-infrastruktuurikokemusta se voi muuttua hauraaksi sivuprojektiksi.
Malli 4: Paikallislaitteen mallit
Paikalliset mallit voivat sopia yksittäisiin tietosuojan kannalta arkaluonteisiin tehtäviin, kun laitteen, päivitysten, telemetrian, varmuuskopioinnin ja käyttöoikeuksien koko hallintaraja on valvottu:
- Paikallisten muistiinpanojen tiivistäminen.
- Luonnostelu yksityisistä asiakirjoista.
- Sisäisten katkelmien luokittelu.
- Offline-kenttätyö.
- Reunalaitteiden työnkulut, joissa lyhyt viive on tärkeä.
Laadullinen kompromissi on tehtävä- ja mallikohtainen. Arvioi paikallinen ehdokas edustavilla tiivistämis-, luokittelu-, poiminta- tai luonnostelutehtävillä sen sijaan, että olettaisit vastaavuuden tai huonommuuden.
Käytä paikallista mallia vain silloin, kun se täyttää tehtävän arvioinnin ja koko paikallinen raja on hyväksytty; ”ajetaan laitteessa” ei itsessään todista tietosuojaa.
Malli 5: Hybridireititys
Hybridiehdokas voi reitittää kuormituksia hyväksytyn dataluokan mukaan:
- Julkiset ja vähäriskiset tehtävät menevät yritystason SaaS-palveluun.
- Luottamuksellinen haku tapahtuu yksityisen RAG-järjestelmän sisällä.
- Rajoitettujen tietojen poimintaan käytetään vain erikseen hyväksyttyä paikallista, VPC-, itseisännöityä tai tekoälytöntä reittiä sen jälkeen, kun koko tietovirta on tarkastettu.
- Lopullinen luonnostelu voi käyttää huippumallia, kun arkaluonteiset kentät on poistettu.
- Lokit ja arvioinnit osoittavat, toimiiko kukin reitti.
Hybridireititys voi ohjata eri tietueet eri hyväksyttyihin ympäristöihin. Se edellyttää teknisesti toimeenpantavaa käytäntöä, ei vain kehotteeseen perustuvaa luokittelua:
- Dataluokittelu ennen reititystä.
- Arkaluonteisten tietojen peittäminen mahdollisuuksien mukaan.
- Selkeät mallien ja työkalujen sallittujen listat.
- Lokit, jotka tallentavat, mitä rajaa käytettiin.
- Varamenettely, kun yksityinen malli ei pysty tehtävään.
Päätöksentekokehikko
Kysy kuusi kysymystä:
- Mikä data syötetään malliin? Julkinen, sisäinen, luottamuksellinen, rajoitettu.
- Millainen vaikutus tulosteella on? Luonnos, suositus, päätös tai asiakasta koskeva toimi.
- Millaista laatua vaaditaan? Määritä tehtäväkohtaiset tarkkuus-, turvallisuus-, viive- ja kieltäytymistavoitteet sekä ihmisen tekemän tarkastuksen tavoitteet sen sijaan, että käyttäisit ”asiantuntijatasoisen” kaltaisia nimityksiä.
- Millaista viivettä tehtävä sietää? Vuorovaikutteinen käyttö, eräajo, reaaliaikainen käyttö tai verkkoyhteydetön käyttö.
- Millaista ylläpitokykyä organisaatiolla on? Ei infrastruktuuritiimiä, sovellustiimi, alustatiimi tai MLOps-tiimi.
- Millaista näyttöä asiakkaat tai sääntelyviranomaiset tarvitsevat? Toimittajan dokumentaatio, lokit, tietojen sijainti, auditointijälki tai eristys.
Valitse sitten vähäisimmän monimutkaisuuden malli, joka täyttää datan ja laatuvaatimukset.
Älä tee tätä vielä
Älä itseisännöi ennen kuin olet mitannut kuormituksen ja laatuvaatimuksen.
Älä lähetä rajoitettuja tietoja kuluttajatyökaluihin.
Älä oleta, että ”avoin lähdekoodi” tarkoittaa yksityistä. Se on yksityinen vain jos käyttöönotto, lokit, pääsy ja datavirta ovat yksityisiä.
Älä ota tekoäly-yhdyskäytävää käyttöön ilman identiteettiin perustuvaa, käytännöillä toimeenpantua tietoluokittelua ja oletusarvoisesti estäviä reittejä. Keskitetty yhdyskäytävä voi panna käytännön täytäntöön vain, jos ohitukset, varamenettelyt, lokit ja toiminta virhetilanteissa on testattu.
Älä jätä arviointeja huomiotta. Yksityinen mutta väärä on silti väärin.
Käytännöllinen pk-yrityksen lähtökohta
Yksi mahdollinen pk-yrityksen etenemisjärjestys, joka on silti tarkastettava:
- Hyväksy yksi yrityksen SaaS-avustaja yleiseen työhön.
- Kirjoita dataluokittelusääntö.
- Estä rajoitettujen tietojen käyttö, ellei käyttötapausta ole erikseen arvioitu.
- Rakenna yksi yksityinen RAG- tai VPC-työnkulku arvokkaimmalle luottamukselliselle käyttötapaukselle.
- Käytä paikallisia malleja kapeisiin arkaluonteisiin tehtäviin, joissa laatu on hyväksyttävä.
- Palaa itseisännöintiin vain silloin, kun tietosuoja, mukauttaminen tai kustannus selvästi oikeuttavat sen.
Näin syntyy vaiheittainen päätöspolku. Tietosuoja jo suunnitteluvaiheessa ja oletusarvoisesti edellyttää edelleen, että käyttötarkoitus, minimointi, pääsy, säilytys, poistaminen, käsittelijät, siirrot ja turvallisuuspäätökset dokumentoidaan (Euroopan komission ohjeistus).
Sovita arkkitehtuuri tietoihin, riskiin ja ylläpitokykyyn
Yksityinen tekoäly tarkoittaa tietoihin, riskiin ja ylläpitokykyyn sovitettua arkkitehtuuria. Ratkaisukokonaisuus voi olla tarkoituksenmukainen, mutta jokaisella reitillä on oltava nimetty omistaja ja todennettu hallintaraja.
Valitse tietojen, vaikutuksen, laadun, viiveen, ylläpitokyvyn ja näytön perusteella.
