Безопасность ИИ

Prompt injection и безопасность LLM: модели угроз и многоуровневая защита

Prompt injection — постоянный класс рисков безопасности LLM, а не ошибка написания промпта. Продакшен-руководство по моделям угроз, границам данных, правам инструментов, регрессионным тестам, мониторингу и реагированию на инциденты.

Корпоративный RAG по базе знаний: права доступа, утечки и границы источников

Корпоративный ассистент по базе знаний безопасен только тогда, когда извлечение соблюдает права доступа. Как проектировать границы источников в RAG, фильтрацию по ACL, ответственных за документы, логирование, обработку устаревших источников и поведение при отказе.

11 мин чтения

Безопасная загрузка и обработка документов для RAG: PDF, OCR, метаданные и хранение

Качество RAG определяется ещё до поиска. Руководство по безопасной загрузке PDF, OCR, метаданным, правам доступа, актуальности источников, удалению, защите от вредоносных файлов и эксплуатационной ответственности.

Еще по этой теме

7 мин чтения

Вебхуки Hermes: событийные агенты без гигантского универсального промпта

Настройте вебхуки Hermes Agent с подходящей источнику аутентификацией, проверками работоспособности на порту 8644 и небольшими именованными маршрутами, чтобы события превращались в целевые запуски агента с явно заданной целью доставки.

NemoClaw на DGX Spark: план развертывания и безопасности

Спланируйте и оцените работу OpenClaw, Hermes или Deep Agents Code внутри NVIDIA OpenShell на DGX Spark: текущая настройка, уровни политик, маршрутизация инференса и необходимые доказательства приемки.

8 мин чтения

Списки разрешений OpenClaw, парное подключение и безопасность упоминаний в группах

Списки разрешённых каналов, привязка к личным сообщениям (DM) и правила упоминания в группах — это реальный рубеж безопасности OpenClaw, поскольку инструменты могут включать оболочку, файлы и браузер. Практический чек-лист для ограничения доступа.

9 мин чтения

Настройка личного шлюза OpenClaw: установка, онбординг, панель управления

Что такое OpenClaw, как установить и провести первичную настройку самодостаточного многоканального шлюза, открыть панель управления на порту 18789 и какие версии Node поддерживаются, не пропуская базовый уровень безопасности.

Навыки OpenClaw, автономность heartbeat и контрольные точки подтверждения

Как OpenClaw загружает навыки, как работают периодические циклы heartbeat, как ограничить выполнение команд в оболочке хоста и как удержать автоматизацию браузера за строгой политикой и подтверждением проверенного рабочего процесса.

20 мин

Права и контроль доступа в RAG — подробный учебник

Paragon. Разбирает проблему разрешений в RAG на продакшене и сравнивает вызовы инструментов, пространства имён, ACL-таблицы и разрешения на основе отношений. Это напрямую поддерживает главное правило статьи: поиск должен возвращать только источники, доступные текущему пользователю.

69 мин

Ландшафт агентов — уроки внедрения агентов в рабочую среду

MLOps.community. Вице-президент по ИИ в Prosus и ИИ-инженер рассказывают, что реально ломалось при внедрении агентов в портфельных компаниях группы: пентесты на промпт-инъекции перед запуском, опасная запись, когда Jira-агент споткнулся о человеческие сокращения, устаревший контекст, против которого агентов научили показывать свои допущения, и проектирование запасных сценариев, где агентов объединяли или отключали, как только они добавляли когнитивную нагрузку. Это реестр отказов из статьи, проигранный как живой постмортем.

7 мин

Улучшите RAG и ИИ-агентов с Docling

IBM Technology. Объясняет сторону загрузки данных в RAG и агентах: как подготовить PDF и другие файлы, чтобы структура документа, таблицы и макет сохранились для поиска. Это поддерживает предупреждение статьи: качество и безопасность RAG начинаются до эмбеддингов, особенно для сложных бизнес-документов.

Сбои ИИ-систем в эксплуатации: что ломается после демонстрации

ИИ-системы обычно ломаются предсказуемо: галлюцинации, устаревший контекст, подхалимство, инъекция в промпт, небезопасное использование инструментов, дрейф схемы и слабые запасные сценарии. Реестр режимов сбоя в продакшне для команд, которые запускают реальные рабочие процессы.

Варианты развёртывания конфиденциального ИИ: локально, в VPC, на своих серверах и гибридно

Конфиденциальный ИИ — это не одна архитектура. Практическое сравнение локальных моделей, корпоративного SaaS, развёртывания в VPC, инференса на своей инфраструктуре и гибридных вариантов для малого и среднего бизнеса.

Безопасное подключение ИИ к почте, календарю и CRM

Руководство по подключению ИИ к электронной почте, календарю и CRM на основе оценки рисков с применением минимальной области доступа, контрольных точек согласования, защищенных аудиторских доказательств, негативных тестов и путей восстановления.

8 мин чтения

Приватность и гигиена данных при использовании ИИ на работе

Практическое руководство по снижению рисков для приватности и конфиденциальности при использовании ИИ на работе. Перед вставкой проверьте точный продукт, тариф, конфигурацию, данные и применимые правила.

Начинающий

25 мин

Топ-10 атак на LLM по версии OWASP: разбор уязвимостей ИИ

IBM Technology. Видео расширяет тему инъекций до OWASP Top 10 для LLM: небезопасной обработки результатов, раскрытия чувствительных данных и избыточной автономности. Эти риски нужно оценить до выдачи агенту доступа к Gmail или HubSpot.

11 мин

Что такое атака с инъекцией в промпт?

IBM Technology. Пример Джеффа Крума с фразой «купи внедорожник за один доллар» кратко показывает разницу между прямой и косвенной инъекцией в промпт и объясняет, почему одной фильтрации недостаточно. Это подтверждает тезис статьи: нужны минимальные права доступа, отдельный аккаунт агента и подтверждение человеком для необратимых действий, а не только более сложный системный промпт.

13 мин

Атака на LLM — инъекция в промпт

LiveOverflow. Материал рассматривает инъекцию в промпт как классическую атаку на систему, смешивающую инструкции и недоверенные данные. На примере модерации показано, как злоумышленник может подставить невиновного пользователя. Главное изменение перспективы совпадает со статьёй: целью атаки является не отдельная модель, а приложение в целом.

17 мин

Защита LLM от инъекций в промпт

LiveOverflow. Разбирает практическую схему эшелонированной защиты: анализ распространения недоверенных данных в выводе LLM, ограничение ожидаемого формата, изоляцию пользователей, примеры в промпте (few-shot), дообучение, температуру 0 для воспроизводимости и резервирование критических путей. Почти полностью соответствует разделу статьи о комплексе мер защиты.