Lokale KI auf Ihrem Mac: Ollama, LM Studio und was 7B-Modelle wirklich können — Begleitvideos

Tech With Tim

Eine kompakte Ollama-Anleitung ohne Umwege — installieren, ein Modell abrufen, chatten, anschließend die lokale HTTP-API mit Python testen und mithilfe eines Modelfile ein benutzerdefiniertes Modell erstellen. Sie deckt genau den Workflow ab, den der Artikel für die tägliche Nutzung auf einem Mac beschreibt, einschließlich des Verhältnisses zwischen Modellgröße und Arbeitsspeicher des Geräts.

Was Sie aus diesem Video mitnehmen sollten: Sie installieren eine lokale Modelllaufzeit, laden ein kleines Modell und verstehen den Zielkonflikt zwischen Datenschutz und Leistung, bevor Sie es für reale Aufgaben verwenden.

Das sollten Sie zuerst ansehen oder wissen: Sie sind mit einem Terminal vertraut und wissen grundsätzlich, dass die Leistung lokaler Modelle stark von Größe, Quantisierung und Hardware abhängt.

Kevin Stratvert

Derselbe Workflow wie mit Ollama, aber über eine grafische Oberfläche: LM Studio installieren, ein Llama- oder Gemma-Modell laden, chatten, eine PDF hinzufügen und Fragen dazu stellen. Das eignet sich für Leser, die nicht im Terminal arbeiten möchten, und vermittelt einen Eindruck davon, wie ein Modell mit 1B–3B Parametern im Vergleich zu einem größeren Modell tatsächlich abschneidet.

Was Sie aus diesem Video mitnehmen sollten: Sie probieren lokale KI über eine grafische Oberfläche aus und vergleichen das Verhalten kleiner Modelle mit gehosteten Spitzenmodellen.

Das sollten Sie zuerst ansehen oder wissen: Sie wissen, warum Sie Modelle lokal ausführen möchten: Datenschutz, Offline-Nutzung, Kostenkontrolle oder Experimentieren.