Begrebet »privat AI« bruges om alt fra »vi har slået træning fra på vores SaaS-konto« til »vi kører modeller med åbne vægte på vores egen infrastruktur«. De to løsninger giver ikke den samme kontrolgrænse.
For SMV’er afhænger den rette arkitektur for privat AI af dataene, opgaven, kvalitetskravet og teamets evne til at drive infrastrukturen. Den mest private mulighed er ikke altid den bedste. Den mest avancerede løsning er ikke altid acceptabel for datatypen. Den billigste løsning kan blive dyr, hvis den kræver konstant opmærksomhed fra ingeniører.
Denne artikel giver et beslutningsgrundlag. Brug den sammen med den primære GDPR-tekst, NIST AI Risk Management Framework, leverandørkontrakter, dokumentation for datastyring og sikkerhedsvejledningen til den valgte inferensmotor, eksempelvis vLLM’s sikkerhedsvejledning.
Start med dataklassificering, ikke modelvalg. En svag model inden for den rigtige databeskyttelsesgrænse er bedre end en avanceret model, der får data, som den ikke bør modtage.
De fem udrulningsmønstre
| Mønster | Hvad det er | Egnet til | Hovedbegrænsning |
|---|---|---|---|
| SaaS til virksomheder | Virksomhedsabonnement med administration, SSO, styring af opbevaring og mulighed for at fravælge træning | De fleste almindelige virksomhedsopgaver | Data forlader stadig dit miljø |
| VPC eller privat cloud | Administreret modelslutpunkt inden for en kontrolleret cloudgrænse | Fortrolige arbejdsbelastninger, der kræver stærkere isolation | Højere omkostninger og mere opsætning |
| Selvhostet inferens | Du kører modeller med åbne vægte på din egen infrastruktur | Begrænsede data, tilpassede modeller og stordriftsfordele | Driftsbyrde |
| Modeller på lokale enheder | Modellen kører på en bærbar computer, arbejdsstation eller edge-enhed | Opgaver uden netforbindelse samt følsomme opgaver med lav latenstid og et snævert anvendelsesområde | Mindre modeller og begrænsninger i enheden |
| Hybrid rutestyring | Led hvert anvendelsestilfælde til den passende grænse | Porteføljer med forskellig følsomhed | Kræver disciplineret klassificering |
Personlige forbrugerkonti tilbyder typisk ikke en organisations centralt styrede identitet, opbevaring, integrationer eller kontrakt- og revisionsindstillinger. Virksomhedens politik skal fastlægge, om sådanne konti overhovedet er tilladt, og hvilke data de må bruges til.
En organisation kan have brug for ét mønster eller en forvaltet portefølje. Målet er at vælge og genvalidere en grænse for hvert godkendt anvendelsestilfælde frem for at behandle et enkelt produktnavn som en permanent garanti.
Klassificér dataene først
De fire kategorier nedenfor er en illustrativ begyndelsestaksonomi. Tilpas navnene og reglerne for håndtering til organisationens faktiske informationsklassificering og retlige krav:
| Data | Eksempler | Standardgrænse for AI-brug |
|---|---|---|
| Offentlig | Websitetekst, udgivne dokumenter, offentlig forskning | Godkendt værktøj efter kontrol af rettigheder, ægthed, promptinjektion og vilkår |
| Intern | Procesnoter, anonymiserede eksempler, ikke-følsomme udkast | SaaS til virksomheder |
| Fortrolig | Kundedata, kontrakter, kildekode, økonomi, strategi | SaaS til virksomheder med kontroller, VPC eller selvhosting |
| Begrænset | Helbredsdata, oplysninger omfattet af advokatfortrolighed, HR-undersøgelser, regulerede registre | Juridisk/sikkerhedsgennemgang; en godkendt lokal, VPC, selvhostet eller AI-fri rute kan være påkrævet |
Denne klassificering forhindrer en almindelig fejl: at bruge den samme assistent til offentlige blogudkast og fortrolige kunderegistre fordi det er bekvemt.
Legitimationsoplysninger, private nøgler, autentifikationstokens og genoprettelseskoder udgør ikke en kategori for modelrutestyring. Udeluk dem fra prompts, hentningskorpusser, telemetri og værktøjer, som modeller kan tilgå. Brug et system til håndtering af hemmeligheder, og indsæt kun legitimationsoplysninger under kørsel i det snævre omfang, en deterministisk integration kræver.
Mønster 1: SaaS til virksomheder som standard
SaaS til virksomheder kan være løsningen med den laveste driftskompleksitet. Produktnavne, abonnementsrettigheder og kontraktvilkår ændres; kontrollér hvert udvalgt abonnement for:
- Kontraktmæssige vilkår om databrug og modeltræning.
- Administrationskontroller.
- SSO og adgangsstyring.
- Opbevaringskontroller.
- Revisionslogfiler.
- Sikkerhedsdokumentation.
- Leverandørsupport.
Disse kontroller kan understøtte godkendt arbejde, men køb af en plan etablerer ikke, at en bestemt datakategori eller arbejdsgang er lovlig eller sikker.
Nøglen er konfigurationen. Det er ikke nok blot at købe et teamabonnement. Indstil opbevaringstid, deling, adgang til forbindelser, godkendte arbejdsområder og dataregler.
Mønster 2: VPC eller privat cloud
VPC- og private cloud-mønstre kan være egnede, når data må forlade applikationen, men skal forblive inden for en defineret cloud- og kontraktgrænse. »Inden i en VPC« dokumenterer ikke, at alle ruter gennem kontrolplan, modeltjeneste, logføring, support eller sikkerhedskopiering forbliver dér; kortlæg og test hele datastrømmen.
- Kundesupportassistent til fortrolige supportsager.
- Intern assistent til følsomme dokumenter.
- Dokumentudtrækning til kontrakter eller fakturaer.
- Domænespecifik assistent, hvor du har brug for stærkere databeskyttelse end i SaaS.
Potentielle fordele at verificere:
- Stærkere isolation med det valgte tjenestedesign.
- Mere kontrol over netværk og logfiler.
- Dokumentation, der kan opfylde fastlagte indkøbskrav.
- En anden driftsmæssig ansvarsdeling end ved fuld selvhosting.
Potentielle begrænsninger at prissætte og teste:
- Prisen kan overstige en delt SaaS-plan for den målte arbejdsbelastning.
- Yderligere integrations- og platformarbejde.
- Modeludvalget kan være smallere.
- Du er stadig afhængig af leverandørens infrastruktur.
Behandl dette som én kandidat i mellemkategorien, ikke standarden for hver SMV.
Mønster 3: Selvhostet inferens
Selvhosting betyder, at du kører modellen med vLLM, TGI, SGLang, llama.cpp, Ollama eller en anden inferensstak. Det giver mening, når:
- Data ikke må forlade dit miljø.
- Du har brug for en tilpasset eller finjusteret model med åbne vægte.
- Inferensmængden er høj nok til at retfærdiggøre infrastrukturen.
- Kravene til latens eller tilgængelighed kræver direkte kontrol.
- Du har personale, der kan drive det.
Du bør ikke selvhoste, blot fordi det føles »rent«. Driftsomkostningerne er reelle: GPU-kapacitet, overvågning, opgraderinger, sikkerhedsopdateringer, modelevaluering, skalering og hændelseshåndtering.
Selvhosting er et stærkt valg for den rette organisation. For et lille team uden erfaring med infrastruktur til maskinlæring kan det dog blive et skrøbeligt sideprojekt.
Mønster 4: Lokale modeller på enheden
Lokale modeller kan være egnede til følsomt individuelt arbejde, når hele enheden, opdateringerne, telemetrien, sikkerhedskopieringen og adgangskontrollen er under din kontrol:
- Opsummering af lokale noter.
- Udkast baseret på private dokumenter.
- Klassificering af interne uddrag.
- Feltarbejde uden netforbindelse.
- Arbejdsgange på edge-enheder, hvor latenstiden spiller en rolle.
Kvalitetsafvejningen er opgave- og modelspecifik. Evaluér den lokale kandidat på repræsentative opgaver inden for opsummering, klassificering, udtrækning eller udkast i stedet for at antage enten lighed eller underlegenhed.
Brug kun en lokal model, når den opfylder kravene i opgaveevalueringen, og hele den lokale datagrænse er godkendt; »kører på enheden« dokumenterer ikke i sig selv databeskyttelse.
Mønster 5: Hybrid rutestyring
En hybridløsning kan dirigere arbejdsbelastninger efter godkendte dataklasser:
- Offentlige opgaver og lavrisikoopgaver sendes til SaaS til virksomheder.
- Fortrolig hentning foregår i et privat RAG-system.
- Begrænset udtrækning bruger kun en specifikt godkendt lokal, VPC-, selvhostet eller AI-fri rute, efter at hele datastrømmen er gennemgået.
- Endelige udkast kan bruge en avanceret model, efter at følsomme felter er fjernet.
- Logfiler og evalueringer viser, om hver rute fungerer.
Hybrid rutestyring kan knytte forskellige dataposter til forskellige godkendte grænser. Det kræver en politik, der kan håndhæves, ikke kun klassificering i prompts:
- Dataklassificering før rutestyring.
- Maskering af følsomme data, hvor det er muligt.
- Tydelig positivliste over modeller og værktøjer.
- Logfiler, der registrerer, hvilken grænse der blev brugt.
- Reserveløsning, når den private model ikke kan udføre opgaven.
Beslutningsramme
Stil seks spørgsmål:
- Hvilke data indgår i modellen? Offentlige, interne, fortrolige eller begrænsede.
- Hvad er konsekvensen af resultatet? Udkast, anbefaling, beslutning eller handling over for kunder.
- Hvilken kvalitet kræves? Definér opgavespecifikke mål for nøjagtighed, sikkerhed, latenstid, afvisning og menneskelig gennemgang frem for betegnelser som »ekspertniveau«.
- Hvilken latenstid kræves? Interaktiv behandling, batchbehandling, realtid eller offline.
- Hvilken driftskapacitet er tilgængelig? Intet infrastrukturteam, applikationsteam, platformteam eller team til maskinlæringsdrift.
- Hvilken dokumentation skal kunder eller tilsynsmyndigheder have? Leverandørdokumentation, logfiler, oplysninger om, hvor data opbevares, revisionsspor og isolation.
Vælg derefter mønsteret med lavest kompleksitet, der opfylder kravene til data og kvalitet.
Gør ikke dette endnu
Selvhost ikke, før du har målt arbejdsbelastningen og kvalitetskravet.
Send ikke begrænsede data til forbrugerværktøjer.
Antag ikke, at »open source« betyder privat. Løsningen er kun privat, hvis udrulningen, logfilerne, adgangen og datastrømmene er private.
Opsæt ikke en AI-gateway uden identitetsbevidst dataklassificering, håndhævelse af politikken og ruter, der som udgangspunkt afviser adgang. En central gateway kan håndhæve politikken, men kun hvis omgåelser, reserveløsninger, logfiler og fejladfærd er testet.
Ignorér ikke evalueringer. En privat, men forkert løsning er stadig forkert.
Et praktisk udgangspunkt for SMV’er
En mulig startsekvens for en SMV, der skal gennemgås:
- Godkend én SaaS-assistent til virksomheder til generelt arbejde.
- Udarbejd en regel for dataklassificering.
- Blokér behandling af begrænsede data, medmindre den er godkendt.
- Byg én privat RAG- eller VPC-arbejdsgang til det mest værdifulde fortrolige brugstilfælde.
- Brug lokale modeller til snævre følsomme opgaver, hvor kvaliteten er acceptabel.
- Overvej først selvhosting, når databeskyttelse, tilpasning eller omkostninger tydeligt taler for det.
Dette skaber en trinvis beslutningsvej. Databeskyttelse gennem design og standardindstillinger kræver stadig dokumenterede beslutninger vedrørende formål, dataminimering, adgang, opbevaring, sletning, databehandler, overførsel og sikkerhed (Europa-Kommissionens vejledning).
Arkitektur tilpasset data, risiko og drift
Privat AI betyder, at arkitekturen er tilpasset data, risiko og drift. En portefølje kan være relevant, men hver rute kræver en udtrykkelig ejer og en verificeret grænse.
Basér valget på data, konsekvens, kvalitet, latenstid, drift og dokumentation.
