Teema

Privaatne, kohalik ja ise majutatud AI

Kohalikud mudelid, privaatse juurutuse mustrid, ise majutatud käitus ja hübriidarhitektuurid.

15 lugu (11 artiklit · 4 videot)

Alusta siit

Mõned head esimesed materjalid enne kogu voo sirvimist.

Veel selles teemas

8 min lugemist
Artikkel

Kahe DGX Sparki ühendamine: QSFP, SSH, RoCE ja Cluster Assistant

Praktiline juhend kahe NVIDIA DGX Sparki ühendamiseks QSFP ja ConnectX-7 kaudu: sama kasutajanimi, SSH-võtmega autentimine, RoCE hajustööde jaoks, NVIDIA Sync Cluster Assistant ja tagasipööramisplaan.

Ekspert
8 min lugemist
Artikkel

Kohalik inferents DGX Sparkil: mälu, tarkvara ja võrdlus pilveteenusega

Kuidas tõlgendada NVIDIA väiteid 128 GB koherentse mälu ja ligikaudu 200 miljardi parameetriga mudeli kohta, valida sobiv mudeliserver ning kavandada katsed, mis näitavad, kas kohalik inferents päriselt sobib.

Ekspert
9 min lugemist
Artikkel

DGX Spark: kellele see sobib ja kuidas toetab kohalikke AI-agente

Faktipõhine ülevaade NVIDIA DGX Sparkist: Grace Blackwell GB10 tehnilised näitajad, koherentne ühtmälu, ConnectX-7 klasterdamine ja olukorrad, kus lauaarvuti mõõtu agentserver on privaatse AI jaoks õige valik.

Ekspert
7 min lugemist
Artikkel

Mis on Hermes Agent ja millal seda kasutada?

Selge ülevaade Nous Researchi Hermes Agentist: püsiv mälu, oskused, tööriistad ja sõnumiväravad ning otsus, millal piisab vestlusrobotist ja millal on vaja agendi käituskeskkonda.

Edasijõudnud
8 min lugemist
Artikkel

n8n-i ühendamine vLLM-i ja teiste OpenAI-ga ühilduvate API-dega

Kutsu n8n-i HTTP Requesti sõlmest kohalikku OpenAI-ga ühilduvat /v1/chat/completions lõpp-punkti koos selge autentimise, ajalõpueelarvete, baas-URL-i kontrollide ja privaatse võrgupiiriga.

Edasijõudnud
10 min lugemist
Artikkel

NemoClaw DGX Sparkil: kasutuselevõtu ja turvalisuse kava

Kavanda ja hinda OpenClawi, Hermese või Deep Agents Code’i käitamist NVIDIA OpenShellis DGX Sparkil: praegune kasutuselevõtt, poliitikakihid, marsruuditud inferents ja nõutavad vastuvõtutõendid.

Ekspert
9 min lugemist
Artikkel

OpenClawi isiklik värav: paigaldus, esmane seadistus ja juhtpaneel

Mis on OpenClaw, kuidas ise majutatud mitmekanalilist väravat paigaldada ja esmaselt seadistada, kuidas avada Control UI pordil 18789 ning millised Node’i versioonid on toetatud, jätmata turvalist lähteseadistust vahele.

Edasijõudnud
10 min lugemist
Artikkel

Kahe DGX Sparki eksperiment: DeepSeek-V4-Flash, n8n ja Hermes ühes lahenduses

Kuidas hinnata kogukonna eksperimentaalset kahe DGX Sparki lahendust DeepSeek-V4-Flashi jaoks, jättes deterministliku automatiseerimise n8n-ile ja hinnangut nõudva töö Hermesele.

Ekspert
37 minutit
Video

VMware Private AI Foundationi võimekused ja uuendused Broadcomilt

Tech Field Day. Näitab privaatset AI-d kihilise infrastruktuurina: kontrollitud arvutus, eraldatud keskkonnad, Kubernetes, inferentsikonteinerid, mudelihaldus, iseteenindus, GPU jagamine ja monitooring. See sobib artikli hoiatusega, et privaatsus sõltub piiridest, logidest, ligipääsust ja operatsioonidest, mitte sõnast "lokaalne".

Ekspert
13 min lugemist
Artikkel

Peenhäälestus 2026. aastal: LoRA ja QLoRA katse kavandamine ja hindamine

Otsusta, kas parameetrisäästlik peenhäälestus on põhjendatud, halda andmeid nõuetekohaselt, fikseeri korratav katse, võrdle eraldatud testandmete ja ohutuse tulemusi ning mõõda enne juurutamist mudeliteenindust.

Ekspert
157 minutit
Video

LLM-mudelite fine-tuning – generatiivse AI kursus

freeCodeCamp.org. Kursus käsitleb kvantiseerimist, LoRA-t, QLoRA-t ja PEFTi Llama 2 ja Gemma näitel. Kursus annab konkreetsete konfiguratsioonide VRAM-i näiteid. Artikli järgi tuleb oma mudeli ja riistvara ressursivajadust mõõta; need näited ei tõenda, et klastrit pole ühegi sobiva ülesande jaoks vaja.

Ekspert
59 minutit
Video

LLM-i arendamine: ehitamine, treenimine, finetuning

Sebastian Raschka. Raschka ülevaade asetab peenhäälestuse mudeli treenimise laiemasse konteksti. Kasuta seda artikli tingimusliku LoRA-katse taustana: mõõda ülesandel puudujääk võrreldes baaslahendusega, kontrolli ressursivajadust ja hinda adapterit enne kasutuselevõttu.

Ekspert
32 minutit
Video

Kiire LLM-serveerimine vLLM-i ja PagedAttentioniga

Anyscale. Video selgitab GPU-mälu 60–80% raiskamise näidet, PagedAttentionit ja pakkides töötlemist. See annab artikli võrreldava kvaliteediga kulumudelile tausta; mõõda läbilaskevõimet ja kasutusastet oma töökoormusel.

Ekspert