Privaatne, kohalik ja ise majutatud AI

Kohalik AI sinu Macis: Ollama, LM Studio ja see, mida 7B mudelid tegelikult suudavad

AI lokaalne käivitamine on küpsenud. Ollama või LM Studio ja moodsa Maciga saad jooksutada võimekaid mudeleid offline'is, tasuta ja privaatselt. Mis töötab, mis mitte ja millised kasutusjuhud sellest tegelikult kasu saavad.

Edasijõudnud

10 min lugemist

Privaatse AI juurutusmustrid: lokaalne, VPC, ise hostitud ja hübriid

Privaatne AI ei ole üks arhitektuur. Praktiline võrdlus lokaalsete mudelite, ettevõtte SaaS-i, VPC juurutuste, ise hostitud inference'i ja hübriidmustrite vahel privaatsust ja kontrolli vajavatele VKE-dele.

11 min lugemist

Ise hostitud vs hallatud inferents: vLLM, TGI ja tasuvuspiiri matemaatika

Millise mastaabi juures võidab ise hostimine API-kõnesid? Tegelik matemaatika, operatiivsed reaalsused ja mustrid, mis eristavad tiime, kes peaksid ise hostima, neist, kes peaksid hallatud inferentsi eest edasi maksma.

Veel selles teemas

37 minutit

VMware Private AI Foundationi võimekused ja uuendused Broadcomilt

Tech Field Day. Näitab privaatset AI-d kihilise infrastruktuurina: kontrollitud arvutus, eraldatud keskkonnad, Kubernetes, inferentsikonteinerid, mudelihaldus, iseteenindus, GPU jagamine ja monitooring. See sobib artikli hoiatusega, et privaatsus sõltub piiridest, logidest, ligipääsust ja operatsioonidest, mitte sõnast "lokaalne".

13 min lugemist

Peenhäälestus 2026. aastal: millal LoRA võidab RAG-i ja kuidas seda teha ilma klastrita

LoRA-põhine peenhäälestus on muutunud väikestele tiimidele kättesaadavamaks. Millal peenhäälestus võidab RAG-i, millised mustrid töötavad ja milline on praktiline töövoog andmete ettevalmistamisest juurutamiseni.

157 minutit

LLM-mudelite fine-tuning – generatiivse AI kursus

freeCodeCamp.org. Pikk, teooria-siis-kood kursus, mis katab kvantiseerimise, LoRA, QLoRA ja täis-PEFTi Llama 2 ja Gemma peal — riistvaral, mis enamikul arendajatel päriselt olemas on. See on YouTube'is kõige lähemal "vaata üle õla kellelegi, kes seda teinud on" kogemusele ja sobib artikli "sul pole vaja klastrit" väitega koos konkreetsete VRAM-eelarvetega.

59 minutit

LLM-i arendamine: ehitamine, treenimine, finetuning

Sebastian Raschka. Sebastian Raschka aeglasem läbikäik sellest, kus fine-tuning laiemas LLM-treeningu konveieris istub — instruction tuning, klassifikatsiooni fine-tuning, parameetri-tõhusad meetodid ja kompromissid, mida artikkel välja toob enne LoRA soovitamist. Hea kalibreerimine enne alustamist, eriti kui su tiim arutleb, kas fine-tuning on üldse õige samm.

14 minutit

Õpi Ollama selgeks 15 minutiga - käivita LLM mudeleid lokaalselt TASUTA

Tech With Tim. Tihke, asjalik Ollama läbikäik — paigaldus, mudeli tõmbamine, vestlus, siis lokaalse HTTP API torkimine Pythonist ja kohandatud mudeli loomine Modelfile'iga. Katab täpselt selle töövoo, mida artikkel Macis igapäevaseks kasutamiseks kirjeldab, sealhulgas kuidas mõelda mudeli suurusest vs su masina RAM-i kohta.

Edasijõudnud

6 minutit

LM Studio õpetus: käivita suuri keelemudeleid (LLM) oma sülearvutil

Kevin Stratvert. Sama töövoog mis Ollama, aga GUI-s: laadi LM Studio alla, tõmba Llama või Gemma mudel, vestle, kukuta PDF sisse ja küsi selle kohta küsimusi. Hea lugejatele, kes pigem terminalis ei elaks — kasulik ka selle jaoks, et saada tunnetus, kuidas 1B–3B mudel raskema vastu päriselt esineb.

Edasijõudnud

32 minutit

Kiire LLM-serveerimine vLLM-i ja PagedAttentioniga

Anyscale. Käib läbi, miks naiivne LLM-serveerimine raiskab 60–80% GPU mälust, kuidas PagedAttention laenab OS-i stiilis pagineerimist seda parandama ja miks pidev batching toodab 24× läbilaskvuse numbreid, mida artikkel oma matemaatikas kasutab. Pärast seda lakkab artikli "õnneks tabad 50% kasutusastet" rida abstraktne olemast.