Стоимость и эксплуатация моделей

13 мин чтения

Статья

Стек LLM в 2026 году: модели, инференс, инструменты и компромиссы

Взгляд практикующего архитектора на стек LLM в 2026 году — уровни моделей, провайдеры инференса, слои оркестрации, инструменты для оценки и компромиссы, которые действительно имеют значение, когда вы запускаете AI в продакшен. Всё, что вы хотели бы услышать до того, как начали.

Использовать статью как контекст для решений о внедрении, риске, управлении или инвестициях.

Эксперт

10 мин чтения

Статья

Локальный AI на вашем Mac: Ollama, LM Studio и что реально умеют 7B-модели

Локальный AI повзрослел. С Ollama или LM Studio и современным Mac можно запускать способные модели офлайн, бесплатно и приватно. Что работает, что нет и в каких сценариях это действительно даёт выигрыш.

Оценить архитектурный подход, возможные сбои и защитные меры до разработки.

Уверенный

6 мин чтения

Статья

Бесплатный vs платный ChatGPT: что вы реально получаете за ~€20 в месяц

Сравнение бесплатного ChatGPT, ChatGPT Plus и ChatGPT Pro без жаргона — что меняется при апгрейде и как понять, действительно ли он вам нужен.

Понять идею настолько, чтобы безопасно попробовать её в низкорисковой ситуации.

Новичок в ИИ

32 мин

Видео

Fast LLM Serving with vLLM and PagedAttention

Anyscale. Проходит, почему наивный LLM-serving тратит впустую 60–80% памяти GPU, как PagedAttention заимствует пейджинг в стиле OS, чтобы это починить, и почему continuous batching даёт те самые 24× по throughput, на которые опирается арифметика статьи. После этого фраза статьи «вам повезёт попасть в 50% утилизации» перестаёт казаться абстрактной.

Эксперт

56 мин

Видео

Build Hour: Prompt Caching

OpenAI. Собственный Build Hour OpenAI по prompt caching — порог в 1024 токена, требование стабильности префикса, кеширование аудио с 99% скидкой для realtime, влияние на time-to-first-token на длинных вводах. Полезно, когда вы оцениваете инженерные усилия для надёжного попадания в кеш на ваших продакшен-промптах.

Эксперт

19 мин

Видео

Is This the End of RAG? Anthropic's NEW Prompt Caching

Prompt Engineering. Проходит prompt caching от Anthropic против context caching от Gemini с конкретными сокращениями латентности и стоимости по сценариям (long-document чат, few-shot, multi-turn). Разбивка надбавки за запись в кеш против скидки за чтение из кеша — ровно то, что предполагает статья, говоря, когда кеширование окупается.

Эксперт

40 мин

Видео

Andrej Karpathy: Software Is Changing (Again)

Y Combinator. Кейноут Карпатого на AI Startup School рамкует LLM как новый класс компьютера — utility, fab и OS, свёрнутые в одно — и аргументирует «частично автономные» продукты с поводком, контролируемым человеком. Это самая чистая формулировка той ментальной модели стека, которую предполагает статья: что вы выбираете провайдеров инференса и инструменты под программируемую подложку, а не под чат-бота.

Эксперт

211 мин

Видео

Deep Dive into LLMs like ChatGPT

Andrej Karpathy. Самое ясное от и до объяснение на YouTube того, чем на самом деле является LLM — претренинг, токенизация, SFT, RLHF, reasoning RL, использование инструментов, галлюцинации — на уровне детализации, нужном инженеру, чтобы рассуждать о компромиссах между моделями. Посмотрите его один раз, и решения «GPT-класса vs. модели с открытыми весами vs. reasoning-модель» из статьи перестанут казаться выбором бренда и начнут выглядеть как выбор training-рецептов.

Эксперт

9 мин

Видео

RouteLLM achieves 90% GPT4o Quality AND 80% CHEAPER

Matthew Berman. Проходится по статье и коду LMSYS RouteLLM: маленький классификатор сидит перед парой «сильная/слабая модель» и решает, какую вызвать, попадая примерно в 95% качества сильной модели за долю цены. Просмотры под обычным порогом в 100K, но для конкретной ниши «покажи мне реальную маршрутизацию моделей, а не просто сравнения моделей» это самое ясное объяснение на YouTube, и оно напрямую совпадает с секцией статьи про компромисс качество/стоимость.

Уверенный

19 мин

Видео

Every AI Model Explained

Tina Huang. Чистый тур по текущему ландшафту моделей, разбитому по тирам — флагманы, lite-модели, средний тир, специализированные — с конкретными подсказками, на что хорош каждый тир. Это половина статьи «знай свои варианты, прежде чем маршрутизировать», и Хуанг подаёт связку стоимость-vs-возможности так же, как и статья, не опираясь на хайп вокруг бенчмарков.

Уверенный

Стоимость и эксплуатация моделей

Начните здесь

Оркестрация нескольких моделей: маршрутизация по стоимости, задержке и качеству

Оптимизация стоимости инференса: prompt caching, маршрутизация и контроль выхода

Self-hosted vs hosted инференс: vLLM, TGI и математика точки безубыточности

Еще по этой теме

Стек LLM в 2026 году: модели, инференс, инструменты и компромиссы

Локальный AI на вашем Mac: Ollama, LM Studio и что реально умеют 7B-модели

Бесплатный vs платный ChatGPT: что вы реально получаете за ~€20 в месяц

Fast LLM Serving with vLLM and PagedAttention

Build Hour: Prompt Caching

Is This the End of RAG? Anthropic's NEW Prompt Caching

Andrej Karpathy: Software Is Changing (Again)

Deep Dive into LLMs like ChatGPT

RouteLLM achieves 90% GPT4o Quality AND 80% CHEAPER

Every AI Model Explained