RAG и системы знаний

Создайте личный RAG: общайтесь со своими документами

Создайте и оцените ограниченного ассистента, опирающегося на документы. Сравните размещённые у поставщика блокноты, проектные пространства и настраиваемый поиск, не ослабляя происхождение данных и права доступа.

Проектирование RAG-системы для эксплуатации: приём данных, поиск, переранжирование и оценка

RAG-система для эксплуатации состоит из шести стадий, и каждая влияет на качество. Разбираем архитектуру, решения на каждом этапе и итеративную оценку, которая отличает надёжную систему от неудачной.

10 мин чтения

Корпоративный RAG по базе знаний: права доступа, утечки и границы источников

Корпоративный ассистент по базе знаний безопасен только тогда, когда извлечение соблюдает права доступа. Как проектировать границы источников в RAG, фильтрацию по ACL, ответственных за документы, логирование, обработку устаревших источников и поведение при отказе.

Еще по этой теме

9 мин чтения

Личная система знаний, которая помогает находить, а не копить

Ограниченная система от захвата до поиска с явными случаями использования, тестами находимости, датами обзора, правилами удаления и предупреждениями о чувствительных заметках, данных других людей и аккаунтах, хранящихся провайдером.

20 мин

Права и контроль доступа в RAG — подробный учебник

Paragon. Разбирает проблему разрешений в RAG на продакшене и сравнивает вызовы инструментов, пространства имён, ACL-таблицы и разрешения на основе отношений. Это напрямую поддерживает главное правило статьи: поиск должен возвращать только источники, доступные текущему пользователю.

7 мин

Улучшите RAG и ИИ-агентов с Docling

IBM Technology. Объясняет сторону загрузки данных в RAG и агентах: как подготовить PDF и другие файлы, чтобы структура документа, таблицы и макет сохранились для поиска. Это поддерживает предупреждение статьи: качество и безопасность RAG начинаются до эмбеддингов, особенно для сложных бизнес-документов.

Безопасная загрузка и обработка документов для RAG: PDF, OCR, метаданные и хранение

Качество RAG определяется ещё до поиска. Руководство по безопасной загрузке PDF, OCR, метаданным, правам доступа, актуальности источников, удалению, защите от вредоносных файлов и эксплуатационной ответственности.

Проектирование ИИ-агента клиентской поддержки: триаж, знания, действия и эскалация

Оцениваемая по данным очереди эталонная схема триажа, поиска, подготовки ответов, контролируемых действий и эскалации человеку с правилами и границами измерения, необходимыми для безопасного пилота.

Чанкинг, переранжирование и гибридный поиск: как заставить RAG реально работать

Большинство RAG-реализаций работают плохо, потому что неправильно делают три вещи. Практический гид по чанкингу документов, переранжированию результатов и сочетанию ключевого поиска с семантическим — без необходимости становиться поисковым инженером.

Инженерия контекста: как работать с окнами на 1M токенов без деградации

Контекстные окна на 1M токенов существуют, но качество просаживается задолго до этого предела. Инженерия контекста — дисциплина эффективного использования контекстного окна: что включать, что суммировать, что подгружать на лету и какие паттерны удерживают качество, пока контекст растёт.

Соберите своего первого ИИ-агента в n8n: рабочий процесс триажа лидов от начала до конца

Документированный дизайн сортировки лидов в n8n: валидация ввода, ограничение инструментов агента, валидация структурированного результата, сохранение атомарного предложения и удержание каждого видимого клиенту действия за шлюзом одобрения.

Выбор между промптингом, RAG и файнтюнингом (и когда их сочетать)

Промптинг, RAG и дообучение — три основных способа адаптировать LLM к задаче. Каждый решает свой тип проблем. В статье — схема выбора, полная стоимость и условия, при которых сочетание методов оправдано.

RAG за пределами фрагментов: графовый, агентный и длинноконтекстный подходы

У классического RAG с поиском по фрагментам есть пределы. Графовый, агентный и длинноконтекстный подходы решают разные проблемы. Когда выбирать каждый из них и какие эксплуатационные компромиссы учитывать.

11 мин

Как пользоваться NotebookLM начинающим в 2024 году

TheAIGRID. Этот старый обзор функций показывает загрузку разных источников, фокус на одном источнике, брифы и Audio Overview в интерфейсе на момент записи. Он помогает распознать компоненты процесса, но не подтверждает текущий интерфейс Gemini Notebook или доступность функций.

26 мин

Как пользоваться NotebookLM, «инструментом понимания» от Google

Tiago Forte. Тиаго Форте, автор _Building a Second Brain_, демонстрирует продукт, который тогда назывался NotebookLM, с заметками, PDF и выдержками. Полезный паттерн — выбрать ограниченный набор источников, задавать вопросы по документам, проверять связанные фрагменты и решать, как полученные артефакты вписываются в существующий процесс управления знаниями.

69 мин

5 уровней разбиения текста для поиска

Greg Kamradt. Статья уделяет немало места чанкингу; это самое длинное и обстоятельное объяснение того, что на самом деле делает каждая стратегия — от рекурсивного разбиения по символам и разбиения с учётом структуры документа до семантического и агентного. Сочетайте с бесплатным инструментом Грега ChunkViz, чтобы выработать интуицию, прежде чем приступать к тонкой настройке.

24 мин

«Хочу, чтобы Llama3 работала в 10 раз лучше с моими личными знаниями» — локальный агентный RAG с llama3

AI Jason. Охватывает ровно тот стек, за который выступает статья, — переформулирование запроса (query translation), гибридный поиск, реранкинг и цикл корректирующего RAG (corrective-RAG), — в одной работающей сборке. Полезно как рабочая ментальная модель того, как выглядит конвейер «разбиение → реранкинг → ответ», когда он реально делает свою работу.

17 мин

RAG-агенты в продакшене: 10 усвоенных уроков — Douwe Kiela, создатель RAG

AI Engineer. Доуве Кила руководил оригинальной работой про RAG в FAIR, а теперь внедряет RAG на регулируемых предприятиях. Выступление в основном о том, что перестаёт работать при масштабировании, — стратегии чанкинга, не пережившие 100K документов, «точность — это базовый уровень, реальная проблема — это неточность», и почему атрибуция и наблюдаемость важнее, чем модель эмбеддингов. Хорошая калибровка перед перечитыванием разделов статьи про оценку и мониторинг.

19 мин

Создание RAG-приложений, готовых к продакшену: Jerry Liu

AI Engineer. Генеральный директор LlamaIndex разбирает разрыв между «наивной демонстрацией RAG» и системой для реальной эксплуатации: поиск от малых фрагментов к крупным (small-to-big), маршрутизацию по подвопросам, гибридный поиск и оценку. Структура его слайдов почти напрямую соответствует стадиям конвейера в статье; сначала посмотрите видео, затем перечитайте статью, сверяясь с его диаграммами.

9 мин

RAG или fine-tuning

IBM Technology. Более плотный фокус на тех двух техниках, которые команды чаще всего путают. Глубже заходит в свежесть данных, атрибуцию источников и аргумент про скорость на инференсе в пользу дообучения. Стоит посмотреть, если вы именно пытаетесь привести доводы против ненужного проекта по дообучению.

13 мин

RAG, fine-tuning или промпт-инжиниринг: оптимизация ИИ-моделей

IBM Technology. Ясный проход по всем трём техникам на доске с соответствующими издержками — латентность извлечения, вычислительные ресурсы на обучение и катастрофическое забывание, ограничения решений только на промптах — и с комбинациями, которые действительно имеют смысл в продакшене. Заключительный пример с юридической ИИ-системой, использующей все три, — это почти в точности аргумент статьи про «когда сочетать».

39 мин

Представляем RAG 2.0: агентный RAG + графы знаний (бесплатный шаблон)

Cole Medin. Рабочая сборка агентного RAG в связке с графом знаний, где агент сам решает, когда выполнять векторный поиск, когда обращаться к Neo4j, а когда и то, и другое. Это самая чистая на YouTube демонстрация описанного в статье паттерна «агент как планировщик извлечения», причём в коде, который можно действительно скачать и запустить.

16 мин

Graph RAG: улучшение RAG с помощью графов знаний

Prompt Engineering. Сфокусированный разбор GraphRAG от Microsoft — извлечение сущностей, суммаризация сообществ, суммаризация с фокусом на запрос — развёрнутый на локальной машине, с заметками по стоимости. Смотрите его именно под раздел про графовый RAG в статье; обсуждение стоимости — та часть, которую большинство материалов пропускают.