Lokal AI på din Mac: Ollama, LM Studio och vad 7B-modeller faktiskt klarar – kompletterande videor

Tech With Tim

En koncis genomgång av Ollama utan krusiduller – installera, hämta en modell, chatta, prova sedan det lokala HTTP-API:et från Python och skapa en anpassad modell med en Modelfile. Den omfattar precis det arbetsflöde som artikeln beskriver för daglig användning på en Mac, inklusive hur du bör tänka kring modellstorlek i förhållande till datorns RAM-minne.

Vad du bör få ut av detta: Installera en lokal modellkörare, hämta en liten modell och förstå avvägningen mellan integritet och prestanda innan du använder den i verkligt arbete.

Titta på eller ha koll på först: Bekväm med en terminal och grundläggande medvetenhet om att lokala modeller skiljer sig avsevärt beroende på storlek, kvantisering och maskinvara.

Kevin Stratvert

Samma arbetsflöde som i Ollama, men i ett grafiskt gränssnitt: ladda ner LM Studio, hämta en Llama- eller Gemma-modell, chatta, lägg in en PDF-fil och ställ frågor om den. Bra för läsare som helst slipper arbeta i terminalen – och även användbar för att få en känsla för hur en 1B–3B-modell faktiskt presterar jämfört med en tyngre modell.

Vad du bör få ut av detta: Prova lokal AI via ett grafiskt gränssnitt och jämför små modellers beteende med molnbaserade toppmodeller.

Titta på eller ha koll på först: Förstå varför du vill köra lokalt: integritet, användning utan internetanslutning, kostnadskontroll eller experiment.