Rakentajalle DGX Sparkin olennainen lupaus ei ole ”näytön alla oleva GPU”. Olennaista on 128 Gt koherenttia yhtenäistä järjestelmämuistia Grace Blackwell GB10:ssä sekä NVIDIAn tukema ohjelmistopolku, johon kuuluvat DGX OS, kontit ja klusterointi. Yhdistelmä muuttaa sitä, mitä voit ajaa paikallisesti, mutta se ei poista muistibudjetin laskemista, mallipalvelun virheitä tai pilvipalvelujen kustannusetuja.
Tämä on käytännön jatko artikkelille DGX Sparkista. Tekniset tiedot ja tuoteväitteet perustuvat NVIDIAn tuotesivuun ja julkaisutietoihin (dokumentaatio tarkistettu 2026-08-04).
Paikallinen inferenssi kuluttaa paljon sähköä ja tuottaa lämpöä. Mitoita virtapiirit ja jäähdytys jatkuvan kuorman, ei joutokäynnillä olevan esittelyn mukaan. Älä avaa OpenAI-yhteensopivia portteja julkiseen internetiin ilman tunnistautumista, TLS-suojausta ja verkkokäytäntöä.
Yhtenäinen muisti: mitä ”128 Gt koherenttia” tarkoittaa käytännössä
Perinteisessä erillisen GPU:n järjestelmässä mallipainot ja KV-välimuisti on sovitettava GPU:n VRAM-muistiin, kun taas kaikki muu käyttää isäntäjärjestelmän RAM-muistia. Tietojen kopiointi PCIe-rajan yli on kallista.
Sparkissa NVIDIAn arkkitehtuuri tarjoaa koherentin yhtenäisen järjestelmämuistin: CPU ja GPU jakavat yhden suuren altaan, joka on NVIDIAn mukaan 128 Gt LPDDR5x-muistia. Mallipalvelua suunniteltaessa tämä tarkoittaa seuraavaa:
- Suuret mallipainot voivat sijaita samassa muistialtaassa, jota ajoympäristö käyttää aktivaatioihin ja KV-välimuistiin.
- Muistilla on silti ehdoton yläraja: mallipainojen, KV-välimuistin, ohjelmistokehyksen yleiskulujen, käyttöjärjestelmän ja muiden palvelujen on mahduttava siihen.
- Kaistanleveys ja viive poikkeavat HBM-muistia käyttävistä datakeskus-GPU:ista. NVIDIA ilmoittaa muistin kaistanleveyden tuotesivulla, mutta sitä on käsiteltävä laitteiston rajana eikä tok/s-lupauksena.
Karkea muistibudjetti (havainnollinen, ei takuu)
Käytä taulukkoa suunnitteluluonnoksena. Tarkka muistijalanjälki riippuu arkkitehtuurista, kvantisoinnista ja mallipalvelumoottorista.
| Muistin käyttäjä | Mihin muistia kuluu |
|---|---|
| Mallipainot | Hallitseva osa; FP4/FP8/INT4 muuttaa suhdetta voimakkaasti |
| KV-välimuisti | Kasvaa kontekstipituuden × samanaikaisten sekvenssien mukaan |
| Ajoympäristö / CUDA-graafit / kehys | Merkittävä kiinteä yleiskulu |
| Käyttöjärjestelmä + Docker + agentit + valvonta | Helppo aliarvioida ”ainoastaan inferenssiin varatussa” laitteessa |
| Varmuusvara | Jätä tilaa kuormituspiikeille ja päivityksille |
Mitoita muisti samanaikaisten kontekstien mitatun huipun, ei yhden keskustelun perusteella. KV-välimuistin kasvu on yksi muistin loppumisen riskeistä. Toista tilanne kuormitustestillä äläkä esittä hypoteettista kahden istunnon vikaa toteutuneena tapahtumana.
NVIDIAn ~200B yhden solmun väitteen lukeminen
NVIDIA markkinoi DGX Sparkia yhden pöytälaitteen alustana tekoälymalleille, joissa on jopa ~200 miljardia parametria. Väite perustuu suureen yhtenäismuistiin, ja sitä kannattaa tulkita näin:
- Kyse on valmistajan ilmoittamasta ominaisuusalueesta, ei jokaiselle avoimelle malliversiolle mitatusta palvelutasosta.
- Väite edellyttää muistitehokasta tarkkuutta. NVIDIA korostaa FP4-luokan huipputehoa, joka on enintään 1 PFLOP FP4, sekä tuettua mallipalvelupolkua.
- Väite ei kerro, toimivatko valitsemasi malli, tokenisoija, työkalukutsumalli ja arviointisarja hyvin tässä kokoluokassa.
Mitä väite ei sano:
- Se ei lupaa täyden tarkkuuden 200B-mallia pitkällä kontekstilla ja suurella samanaikaisuudella.
- Se ei lupaa samaa laatua kuin isännöidyt huipputason mallit vaikeissa tehtävissä.
- Se ei anna tarkkaa tokens/s-lukua, jonka voisi kirjata asiakassopimukseen.
Suurempia malleja tai tensoririnnakkaista mallipalvelua varten NVIDIA dokumentoi ConnectX-7:ään perustuvan monisolmuskaalauksen, josta puhutaan tavallisesti 2–4 Sparkin kokoonpanoina. Katso klusterointiohje ja artikkeli kahden Sparkin yhdistämisestä. Yhteisön ohjeet, kuten tensoririnnakkaisen vLLM:n ajaminen RoCE-verkon yli, koskevat tiettyä kokoonpanoa. Mittaa niiden ilmoittama tok/s-nopeus ja enimmäiskonteksti omassa ympäristössäsi sen sijaan, että pitäisit niitä yleispätevinä takuina.
Dokumentoidut mallipalvelupinot arviointiin
Hyödyllinen malli:
DGX OS (Ubuntu-pohjainen NVIDIA-pino)
→ NVIDIA-ajurit / konttiajoympäristö
→ Mallipalvelukontti (vLLM, TensorRT-LLM, NIM tai muu)
→ OpenAI-yhteensopiva HTTP (tai gRPC)
→ Agentit / n8n / sovellukset lähiverkossa
DGX OS ja kontit
DGX Spark käyttää DGX OS -käyttöjärjestelmää. Suunnittele päivitykset, uudelleenkäynnistysikkunat sekä Dockerin tai vastaavan ajoympäristön käyttöoikeudet samoin kuin millä tahansa inferenssipalvelimella. NVIDIAn ohjeissa oletetaan, että DGX OS on ajan tasalla ja että nvidia-smi sekä kontin GPU-yhteys toimivat, ennen kuin malliin liittyviä virheitä aletaan selvittää.
Mallipalveluvaihtoehdot: valitse kriteerien, älä muodin perusteella
| Pino | Tyypillinen syy valita | Varoitukset |
|---|---|---|
| vLLM | OpenAI-yhteensopiva mallipalvelu, laaja avoimien mallien tuki ja monisolmuohjeet | Version ja kvantisoinnin yhteensopivuus; max seqs- ja KV-asetukset |
| TensorRT-LLM (TRT-LLM) | NVIDIA-optimoidut moottorit tuetuille malleille | Moottorin rakentamisen kustannus ja mallikohtainen optimaalinen polku |
| NVIDIA NIM / NGC -polut | NVIDIAn paketoima mikropalvelu tuettujen mallien luettelosta | Mallivalikoima ja lisenssiehdot; kaikki Hugging Face -malliversiot eivät kuulu tukeen |
| llama.cpp / Ollama-luokka | Helppo paikallinen käyttökokemus pienemmille tai kvantisoiduille malleille | Ei välttämättä sovi suurimpiin Spark-luokan työkuormiin |
NVIDIAn dgx-spark-playbooks-ohjekokoelma kattaa vLLM:n, TRT-LLM:n, Ollaman ja niihin liittyviä vaihtoehtoja. Aloita arviointi valmistajan ajantasaisesta dokumentoidusta ohjeesta, kiinnitä kaikkien osien versiot ja mukauta kokoonpanoa vasta, kun olet toistanut laitteen perustason tulokset.
Agenttia varten oleva päätepiste
Useimmat pk-yritysten integraatiot, kuten n8n, Hermes, OpenClaw ja omat sovellukset, odottavat lähiverkossa tai VPN-yhteyden kautta toimivaa OpenAI-yhteensopivaa /v1/chat/completions-perusosoitetta. Pidä rajapintasopimus vakaana, vaikka vaihtaisit taustalla olevaa moottoria. Kirjaa jokaisen arviointiajon yhteydessä mallitunniste, kvantisointi ja palvelinversio, jotta mahdollinen laadun heikkeneminen voidaan selvittää.
Mittausprotokolla (vähimmäis)
Ennen kuin kutsut paikallista mallia ”tuotannoksi”:
- Aloita arviointijoukolla, jossa on 20–50 todellista työtehtävää edustavaa kehotetta leikkikeskustelujen sijaan. Laajenna joukkoa, kun löydät uusia virheluokkia. Tämä riittää savutestiin, mutta ei takaa tilastollista luotettavuutta.
- Kirjaa päivämäärä, mallipalvelumoottorin versio, mallitunniste, tarkkuus, enimmäiskonteksti ja samanaikaisuus.
- Mittaa p50- ja p95-viive sekä mahdollisten OOM-virheiden ja aikakatkaisujen osuus tällä samanaikaisuudella.
- Pisteytä laatu ihmisen rubriikilla tai automaattisilla tarkistuksilla, joihin luotat kyseiseen tehtävään.
- Aja sama protokolla uudelleen jokaisen moottori- tai OS-päivityksen jälkeen.
Ilman toistettavaa mittausprosessia käsitys Sparkin suorituskyvystä jää muistikuvien varaan: ”se tuntui nopealta viime tiistaina”.
Vikatilat, joihin sinun pitäisi suunnitella
| Vika | Oire | Lievennys |
|---|---|---|
| Painojen tai KV-välimuistin OOM | Prosessi pysähtyy, CUDA OOM tai työprosessit jumittuvat | Pienennä kontekstia, samanaikaisuutta tai tarkkuutta; jaa työ solmujen kesken |
| Lämpö- tai tehorajoitus | Viive kasvaa jyrkästi jatkuvalla kuormalla | Mittaa kuormitettuna; tarkista ilmanvaihto ja virtapiiri |
| Vanhentunut kontti tai ajuriversioiden ristiriita | Selittämättömät kaatumiset käyttöjärjestelmäpäivityksen jälkeen | Kiinnitä versiot; tee savutesti jokaisen päivityksen jälkeen |
| Levy täynnä mallivälimuistista | Mallin noutaminen epäonnistuu tai tasot vioittuvat | Mitoita NVMe-tila malleille ja lokeille; siivoa välimuistit |
| Yhden solmun katkos | Agentit ohittavat suojaukset tai lakkaavat toimimasta ilmoittamatta | Terveystarkistukset sekä pilvi- tai SaaS-varareitti |
| Tunnistautumaton API | Kuka tahansa lähiverkossa voi käyttää yksityistä malliasi | Sido palvelu yksityiseen verkkorajapintaan; vaadi tunnistautuminen; käytä verkon käyttöoikeuslistaa |
| Kvantisoinnin jyrkkä laatuheikennys | Vaikeisiin tehtäviin syntyy sujuvaa mutta virheellistä tekstiä | Tehtäväkohtainen arviointijoukko ennen tuotantokäyttöä |
| Agentin työkalujen väärinkäyttö | Paikallinen malli ja komentorivi eivät ole itsessään turvallisia | Käytä hiekkalaatikkoa (katso NemoClaw) ja sallittujen toimintojen listoja |
Paikallinen käyttö ei tarkoita, ettei tietoja tallenneta. Määritä kehotteiden, työkalulokien ja haettujen asiakirjojen säilytysajat. Levyn salaus ja pääsynhallinta ovat yhtä olennaisia kuin pilvirajapinnan välttäminen.
Milloin pilvi yhä voittaa
Kirjaa valintaperusteet etukäteen äläkä tee päätöstä pelkän tuntuman varassa.
Suosi pilveä tai hallinnoitua inferenssiä, kun:
- Tarvitset huipputason laatua, jota paikallinen avoin malli ei saavuta arviointijoukossasi.
- Kuorma vaihtelee voimakkaasti ja käyttämättömän laitteen kapitalikulut hallitsevat kustannuksia.
- Sinulla ei ole resursseja DGX OS:n ja konttien ylläpitoon tai päivystykseen.
- Tarvitset korkean käytettävyyden usealla alueella tai toimittajan palvelutasosopimuksen.
- Tarvitsemasi malli tai modaliteetti ei vielä ole käytettävissä tai vakaa Sparkin mallipalvelupolussa.
Suosi Sparkia (tai Spark + toinen solmu), kun:
- Tietojen on tässä työnkulussa pysyttävä omissa tiloissa tai hallitussa lähiverkossa.
- Työpöydän tai lähiverkon agenttikierron viive on tärkeämpi kuin paras mahdollinen mallilaatu.
- Tasainen inferenssimäärä jakaa kapitalikulut riittävän suuren käytön kesken.
- Pystyt osoittamaan vastuuhenkilöt päivityksille, arvioinneille ja häiriötilanteille.
Kustannusten arviointi ilman näennäistä tarkkuutta
Älä päättele kannattavuusrajan ajankohtaa blogikirjoituksesta. Laadi lyhyt laskelma ja merkitse sen oletukset selvästi.
| Syöte | Lähde |
|---|---|
| Laitteisto + vero + toimitus | Päivätty jälleenmyyjä-/NVIDIA-tarjous |
| Sähkö (jatkuva käyttö tai käyttöjakso) | Mitattu tehonkulutus tai PSU/TDP-tiedot × paikallinen kWh-hinta; merkitse arvioksi |
| Insinöörityö kuukaudessa | Todelliset palkka- ja työaikakustannukset |
| Pilvivaihtoehto | Nykyinen token- tai GPU-tuntihinta samalle laatukynnykselle |
Jos pilvivaihtoehto on edullisempi ja kyseiselle tietoluokalle hyväksyttävä, Spark ei ole välttämätön. Jos tietoluokka estää pilven käytön, kapitalikulu on vaatimustenmukaisuuden kustannus eikä tok/s-optimointia.
Hybridimalli on usein käytännöllinen ratkaisu: luokittele pyyntö, reititä rajoitettu työ paikallisesti ja lähetä julkinen tai vaativaa päättelyä edellyttävä työ hyväksytyille isännöidyille malleille tietojen peittämisen jälkeen. Sama periaate kuvataan yksityisen tekoälyn käyttöönottomalleissa.
Rakentajan tarkistuslista (yksi solmu)
- Tarkista DGX OS, ajuri ja
nvidia-smijuuri päivitetystä lähtötilasta. - Valitse ensimmäiseen tuotantoehdokkaaseen yksi mallipalvelupino ja yksi malli.
- Mittaa latausaika, tok/s kiinteällä samanaikaisuudella, enimmäiskonteksti ennen OOM-virhettä ja laatu kiinteällä arviointijoukolla. Merkitse ajon päivämäärä.
- Avaa OpenAI-yhteensopiva HTTP-palvelu vain yksityisessä verkkorajapinnassa ja vaadi tunnistautuminen.
- Lisää terveystarkistukset ja dokumentoitu pilveen siirtyvä varareitti.
- Vasta sitten yhdistä agentit, kanavat tai n8n.
Älä tee tätä vielä
- Älä lupaa asiakkaalle ”200B paikallisesti” nimeämättä tarkkuutta, kontekstia ja mitattua viivettä.
- Älä aja ensimmäistä agenttia rajoittamattomalla komentorivioikeudella samalla palvelimella, jolla tuotannon salaisuudet sijaitsevat.
- Älä ohita monisolmuohjeita ja oleta QSFP-yhteyden korjaavan yhden solmun OOM-virheen itsestään.
- Älä käytä yhteisön tok/s-kuvakaappausta kapasiteettisuunnittelun perustana.
Paikallinen inferenssi Sparkilla toimii, kun muistibudjetti, mallipalvelupino ja ylläpitokäytännöt ovat kunnossa. Laitteisto poistaa osan VRAM-rajoista, mutta se ei poista suunnittelutyötä.
