Ločena AI proti zasebni AI proti zaupni AI: kaj podjetja dejansko potrebujejo

Večina podjetij, ki išče ‘ločeno AI’, potrebuje eno od štirih različnih arhitektur — pravo ločenost, lokalno povezano, VPC-izolirano ali zaupno računalništvo — in napačna izbira pomeni, da bodisi preveč plačate za varnostno gledališče bodisi premalo dobite za model nevarnosti, ki je upravičil projekt.

Kategorija je zamegljena, ker ponudniki služijo na zmedi. ‘Ločena’ je postala marketinška obloga, ki združuje offline delovanje, podatkovno suverenost, regulirano namestitev in izolirano sklepanje v eno samo točko. To ni isto. Imajo različne stroške, različne operativne bremena in ščitijo pred različnimi nevarnostmi. Ta objava imenuje štiri arhitekture, zoži, pred čim ločenost dejansko ščiti, in da direktorjem IT okvir za usklajevanje arhitekture s kategorijo podatkov, preden podpišejo pogodbo.

Obstajajo štiri arhitekture, ponudniki jih namerno zamegljujejo

Prava ločenost je sistem fizično izoliran od drugih omrežij; podatki se prenašajo le skozi nadzorovane ročne procese, kot so prenosni mediji ali offline prenos ^[6]. Lokalno povezana namestitev poganja model in podatke v strežniškem centru kupca, vendar ohranja nadzorovan izhod za telemetrijo, posodobitve ali federacijo. VPC-izolirana namestitev deluje v zasebnem oblačnem najeništvu z omrežnimi kontrolami in upravljanimi mejami — kar Google zdaj pakira kot popolnoma upravljan suvereni strojni in programski sklad za organizacije, ki potrebujejo ločenost iz regulativnih razlogov ali zaradi nizke latence ^[7]. Zaupno računalništvo je nekaj povsem drugega: ščiti podatke in modele med uporabo z uporabo strojno podprtih enklavov v domenah CPU, GPU in medomrežij ^[4].

Te štiri niso točke na enem spektru od ‘manj varno’ do ‘bolj varno’. Odgovarjajo na štiri različna vprašanja. Prava ločenost odgovarja ‘kaj če je omrežje samo nevarnost?’ Lokalno povezano odgovarja ‘kaj če je oblačni ponudnik nevarnost, javni internet pa ne?’ VPC-izolirano odgovarja ‘kaj če je večnajeništvo nevarnost?’ Zaupno računalništvo odgovarja ‘kaj če je operater infrastrukture nevarnost?’ Obravnavati jih kot zamenljive — kar večina povpraševanj stori — je največja napaka pri nabavi v tej kategoriji.

Stroški se ostro ločijo. Zaupno računalništvo zahteva posebne čipe in programski sklad, ki podpira potrjevanje; namestitve GPU na ravni stojal, zasnovane za to, so usmerjene v zaščito lastniških modelov in učnih podatkov na velikem obsegu ^[4]. Prava ločenost je cenejša pri strojni opremi, vendar draga pri operacijah, ker vsaka posodobitev postane logistični dogodek. Lokalno povezano je najcenejše za stalne delovne obremenitve. Brošura redko loči tega, zato se kupec konča s ponudbo za čipe za zaupno računalništvo, ko je potreboval zasebno namestitev z močnim revizijskim beleženjem.

Ločenost rešuje ožji problem, kot nakazuje njen marketing

Ločenost je resnična kontrola. Ščiti pred omrežnimi napadalci na daljavo, ransomware, ki se širi preko dosegljivih omrežij, in potmi za krajo podatkov, ki so odvisne od odhodne povezljivosti. Za AI delovne obremenitve, ki obdelujejo občutljive učne podatke, lastniške modele in zaupne nabore podatkov, je ločenost zadnja obrambna linija proti omrežnim nevarnostim ^[6]. To je razlog zanjo.

To je tudi celoten razlog zanjo. Ločenost ne naredi ničesar proti zastrupljenim odprto-težinskim modelom, ki prispejo na sneakernet pogonu. Ne naredi ničesar proti vrivanju pozivov, vdelanem v zajete PDF-je, pogodbe ali e-poštne arhive — napadalno površino, ki jo ima vsak RAG sistem po konstrukciji. Ne naredi ničesar proti notranji zlorabi, kjer pooblaščen uporabnik pozove sistem k razkritju gradiva, ki ga ne bi smel videti. In ne naredi ničesar proti ogroženosti dobavne verige prenosnih medijev, uporabljenih za prenašanje modelov, uteži in odvisnosti preko vrzeli. Večina resničnih AI incidentov v reguliranih okoljih bo izvirala iz enega od teh štirih mest, ne iz oddaljenega napadalca, ki se prebija preko LAN-a.

Kupovanje ‘ločene AI’, kot da je ločenost sama varnostna značilnost, je kupovanje jarka za zgradbo z odklenjeno sprednjimi vrati. Branljiv pristop obravnava ločenost kot eno kontrolo med več — seznanjeno z verificiranjem izvora modelskih uteži, sledenjem citatov, da se generirani odgovori sledijo nazaj do izvornih dokumentov, dostopom na osnovi vlog na plasti pridobivanja in izvozom revizije, ki preživi vrzel. Brez tega vas ločenost ščiti pred nevarnostmi, ki jih verjetno ne bi srečali, medtem ko pusti nedotaknjene nevarnosti, ki jih boste.

Operativni davek, ki vam ga nihče ne navede: posodobitve, popravki in zastarelost modela

Poganjanje ločenega LLM ni namestitev; je delovni tok. Modelske uteži je treba posodabljati, ko prispejo boljše odprto-težinske izdaje. Izvajalne odvisnosti kopičijo CVE-je, ki potrebujejo popravke. Motorji vektorske baze podatkov, modeli vgrajevanja, GPU gonilniki in orkestrirni sloji imajo vsak svoj ritem posodobitev. Revizijski dnevniki morajo zapustiti okolje za hrambo in pregled skladnosti. Vsak od teh tokov mora prečkati vrzel skozi nadzorovane ročne procese ^[6] — postopno uvajanje, skeniranje, podpisovanje in verificiranje na obeh straneh.

Če tega delovnega toka ne načrtujete vnaprej, se zgodita dve stvari. Model zastara: meja kakovosti odprto-težinskih se hitro premika in namestitev, ki je bila vrhunska ob podpisu, bo očitno slabša od tistega, kar uporabniki vidijo na svojih telefonih v šestih mesecih. Natančnost se slabša ne zato, ker se je model spremenil, temveč ker novejši modeli bolje pridobivajo, povzemajo in citirajo, ter se uporabniška pričakovanja premikajo z njimi. Potem se varnostni pristop razgradi. Nepoppravljene odvisnosti se kopičijo. ‘Varen’ sistem postane sistem, ki se ga vsi bojijo dotakniti.

Pošten proračun za ločeno AI namestitev vključuje sneakernet pot posodobitev z dokumentiranimi postopki, postavitveno okolje zunaj vrzeli, kjer se novi artifakti skenirajo in podpišejo, cevovod za izvoz revizijskih dnevnikov in osebo, katere delo je voditi to zanko po razporedu. Nič od tega se ne pojavi na prodajnih straneh ponudnikov. Vse to je razlika med sistemom, ki ostane koristen tri leta, in tistim, ki se tiho izrodi v obveznost.

Določite delovno obremenitev, preden določite arhitekturo

Pošteno vprašanje namestitve ni ‘ali lahko poganjamo AI offline’. Kvantiziran model deluje na prenosnem računalniku. Vprašanje je, katera velikost modela, kvantizacija in GPU konfiguracija ustreza vašim ciljem latence, sočasnosti in natančnosti — ker ta odgovor določi, ali je vaš projekt ločenosti odločitev za napravo za 50.000 € ali večstojalni kapitalski projekt.

Model 7B-do-13B parametrov pri 4-bitni kvantizaciji, ki služi majhni ekipi z enocifernima sočasnima uporabnikoma na delovni obremenitvi dokumentov-Q&A, se prilega na en GPU razreda delovne postaje in se obnaša kot naprava. Model 70B, ki služi oddelku z латентностjo prvega žetona pod sekundo in desetinami sočasnih uporabnikov, ki poganjajo RAG preko milijonov dokumentov, je popolnoma druga mašina — več visokopomnilniških GPU-jev, hitre medomrežje in hranitveni nivo, dimenzioniran za vektorski indeks. Sistemi na ravni stojal za zaupno računalništvo, namenjeni zaščiti lastniških modelov in učnih podatkov na velikem obsegu, sedijo še višje na krivulji ^[4].

Najprej določite delovno obremenitev. Sočasnost, velikost korpusa dokumentov, sprejemljiva latenca in zahtevana kakovost modela poganjajo strojno opremo. Strojna oprema poganja stroške. Stroški določajo, ali je ločenost sploh pravi odgovor, ali pa lokalno povezana namestitev z enakimi garancijami ločenosti na podatkovni ravni zagotavlja 90% varnosti pri 40% stroška.

Uskladite arhitekturo s kategorijo podatkov, ne z brošuro

Tajni delovni tokovi, sistemi za varnost življenja in operacije v okoljih brez omrežne dostopnosti potrebujejo pravo ločenost. Obramba in obveščanje, določeni zdravstveni sistemi in kritična infrastruktura delujejo tukaj, in ločena AI je osnovna zahteva, ne značilnost ^[3]. Modernizacija vlade sodi sem tudi, kjer mora samogostovana AI teči znotraj tajnih objektov in izpolnjevati standarde, kot sta NIST FIPS in ICD 503, brez zunanjih omrežnih povezav ^[5].

Regulirani-vendar-povezani podjetniški podatki — večina finančnih storitev, večina zdravstva zunaj tajnih raziskav, večina pravnega in farmacevtskega dela — potrebujejo lokalno z nadzorovanim izhodom, ne prave ločenosti. Model nevarnosti je oblačna izpostavljenost, tveganje procesorja tretje osebe in GDPR-usklajena rezidentnost podatkov, ne oddaljeni omrežni napadalci, ki dosegajo LAN. Lokalno povezana namestitev z močno identiteto, sledenjem citatov nazaj do izvornih dokumentov in številk strani ter izvozljivimi revizijskimi sledi neposredno odgovarja na ta model nevarnosti. Zaščita večnajemniških modelov, kjer je skrb, da bi operater infrastrukture lahko videl lastniške uteži ali podatke sklepanja, je primer za zaupno računalništvo ^[4].

Večina kupcev, ki išče ‘ločeno AI’, potrebuje srednjo možnost: lokalno, izolirano na podatkovni ravni, z nadzorovanim in beleženim izhodom za posodobitve in telemetrijo. Želijo garancijo suverenosti in revizijsko sled. Ne želijo operativnega davka prave ločenosti, in ko ga pošteno ocenijo, ga skoraj nikoli ne izberejo. Klasificirajte podatke, imenujte dejanske akterje nevarnosti, nato izberite arhitekturo. Ne obratno.

Branljiv lokalni AI sklad je en sklad, ne sedem pogodb

Verodostojna izolirana AI namestitev je en integriran sklad: strojna oprema, dimenzionirana za delovno obremenitev, izvajalno okolje, ki deluje lokalno na tej strojni opremi, odprto-težinski modeli, katerih izvor je mogoče verificirati, RAG plast s sledenjem citatov do izvornega dokumenta, strani in revizije, identiteta in dostop na osnovi vlog na plasti pridobivanja ter pot izvoza revizije, ki preživi mejo ločenosti. Vsak spoj med ponudniki na tem seznamu je bodisi omrežna luknja bodisi operativni sirota. Oba erozijata ločenost, za katero ste plačali.

Ko so ponudnik GPU-ja, ponudnik izvajanja, ponudnik modela, RAG okvir, vektorska baza podatkov, plast identitete in pogodba o podpori sedem ločenih razmerij, integracijsko delo pade na kupca — in varnostna ekipa kupca postane odgovorna za razumevanje sklada, ki ga nobena posamezna stranka ne poseduje. Posodobitve se desinhronizirajo. CVE-ji v eni komponenti ostanejo nepopravljeni, ker druga komponenta ni certificirala popravka. Revizijska sled ima vrzeli, kjer dnevniki prečkajo meje ponudnikov. To je privzeti rezultat večponudniških lokalnih AI projektov, ne način odpovedi.

Izberite napačno arhitekturo ločenosti in bodisi plačali boste cene ločenosti za tveganja na ravni oblaka, ali boste naložili operacije ločenosti na ekipo, ki je potrebovala le zasebno namestitev — in v obeh primerih model, ki naj bi zaščitil vaše podjetje, postane obveznost. Klasificirajte podatke, imenujte nevarnost, dimenzionirajte delovno obremenitev in kupite sklad kot eno stvar od enega ponudnika, ki ga podpira od konca do konca. To je tisto, kar naredi ločenost vzdržno.

Pogovorite se z našo ekipo o usklajevanju arhitekture ločenosti s kategorijo vaših podatkov — https://wavenetic.com