Приватный и локальный ИИ

Tech Field Day. Показывает приватный ИИ как многослойную инфраструктуру: контролируемые вычисления, изолированные среды, Kubernetes, контейнеры для инференса, управление моделями, самообслуживание, совместное использование GPU и мониторинг. Это напрямую соответствует предупреждению статьи: приватность зависит от границ, логов, доступа и операций, а не от слова «локально».

Приватный ИИ — это не одна архитектура. Практическое сравнение локальных моделей, enterprise SaaS, VPC-развёртываний, self-hosted inference и гибридных паттернов для SME, которым важны приватность и контроль.

На каком масштабе self-hosting обгоняет API-вызовы? Реальная математика, операционные реалии и паттерны, отличающие команды, которым стоит хоститься самим, от тех, кому стоит и дальше платить за managed инференс.

Файнтюнинг через LoRA стал доступным — можно запустить полноценное обучение на ноутбуке или арендовать GPU на час. Какие паттерны работают, в каких случаях файнтюнинг выигрывает у RAG, и сквозной практический рабочий процесс от подготовки данных до развёртывания.

Локальный AI повзрослел. С Ollama или LM Studio и современным Mac можно запускать способные модели офлайн, бесплатно и приватно. Что работает, что нет и в каких сценариях это действительно даёт выигрыш.

Anyscale. Проходит, почему наивный LLM-serving тратит впустую 60–80% памяти GPU, как PagedAttention заимствует пейджинг в стиле OS, чтобы это починить, и почему continuous batching даёт те самые 24× по throughput, на которые опирается арифметика статьи. После этого фраза статьи «вам повезёт попасть в 50% утилизации» перестаёт казаться абстрактной.

Sebastian Raschka. Более медленное прохождение Себастьяна Рашки о том, где fine-tuning сидит в более широком пайплайне обучения LLM — instruction-тюнинг, classification fine-tuning, методы экономии параметров и компромиссы, которые статья перечисляет, прежде чем рекомендовать LoRA. Хорошая калибровка перед стартом, особенно если ваша команда обсуждает, является ли fine-tuning вообще правильным шагом.

freeCodeCamp.org. Длинный курс «сначала теория, потом код», покрывающий квантизацию, LoRA, QLoRA и полный PEFT на Llama 2 и Gemma — на железе, которое реально есть у большинства разработчиков. Это самое близкое к опыту «постой рядом с тем, кто это уже делал» на YouTube, и оно совпадает с тезисом статьи «кластер вам не нужен» с конкретными бюджетами по VRAM.

Kevin Stratvert. Тот же воркфлоу, что и с Ollama, но в GUI: скачать LM Studio, подтянуть модель Llama или Gemma, начать чат, бросить PDF и задавать по нему вопросы. Хорошо для читателей, которые не хотят жить в терминале — также полезно, чтобы прочувствовать, как 1B–3B модель реально показывает себя против более тяжёлой.

Tech With Tim. Плотное, по делу прохождение по Ollama — установить, скачать модель, начать чат, затем потыкать локальный HTTP API из Python и создать кастомную модель через Modelfile. Покрывает ровно тот воркфлоу, что описывает статья для повседневного использования на Mac, включая то, как думать о размере модели против RAM вашей машины.