RAG
Определение
RAG — подход к генерации ответа, при котором языковая модель использует материалы, найденные для текущего запроса во внешних источниках. Источником может быть локальная коллекция документов; поиск сам по себе не гарантирует правильность ответа.
Также ищут: retrieval-augmented generation · генерация с поисковым дополнением · генерация с дополнением найденными документами
Зачем это знать
Нужных сведений может не быть в доступном индексе. Иногда поиск пропускает их, приложение не передаёт модели или модель делает неподтверждённый вывод. Проверка каждого перехода помогает установить, где возникла ошибка.
Карта понятия
Что подтверждено
В классической схеме Azure AI Search приложение выполняет поиск и отдельно передаёт найденные результаты языковой модели для подготовки ответа.
Граница применимости: Документация Microsoft, раздел Classic RAG pattern; пример реализации, а не единственная архитектура RAG.
Документация Azure AI Search перечисляет поиск по ключевым словам, векторный и гибридный поиск как варианты работы с индексом.
Граница применимости: Перечень способов поиска в Azure AI Search; преимущество одного способа для произвольного корпуса не утверждается.
В исходной работе RAG авторы объединяют сведения в параметрах генератора с внешней памятью — векторным индексом Wikipedia, к которому обращается поисковая модель.
Граница применимости: Архитектура Lewis и соавторов, NeurIPS 2020; это описание конкретного исследования, а не всех систем RAG.
В DPR запрос и фрагменты кодируются отдельно. Поиск сопоставляет их векторные представления и отбирает из индексированной коллекции кандидатов для следующего этапа ответа.
Граница применимости: Механизм Dense Passage Retrieval, Karpukhin и соавторы, EMNLP 2020, раздел 3.
В DPR top-k retrieval accuracy — доля проверенных вопросов, для которых среди первых k результатов есть хотя бы один фрагмент с ответом.
Граница применимости: Метрика статьи DPR, раздел 2; знаменатель — число вопросов, а не число найденных или релевантных фрагментов.
В варианте VANILLA из ALCE модели передают первые k найденных фрагментов и инструкцию сопровождать ответ ссылками на них.
Граница применимости: Gao и соавторы, EMNLP 2023, раздел 4.2; описан один вариант формирования входа, а не все методы ALCE или RAG.
В ALCE поддержку утверждения проверяют по указанным фрагментам в совокупности. Отдельно оценивают, есть ли среди ссылок не относящиеся к обоснованию утверждения.
Граница применимости: Gao и соавторы, EMNLP 2023, раздел 3.3: citation recall и citation precision. Каждый фрагмент не обязан подтверждать всё утверждение самостоятельно; минимальный набор ссылок не требуется.
RAGAs отдельно оценивает релевантность найденного контекста, подтверждённость ответа этим контекстом и соответствие ответа вопросу.
Граница применимости: Метрики RAGAs, EACL 2024, раздел 3; соответствие вопросу не тождественно фактической правильности ответа.
Высокий автоматический балл поддержки ответа контекстом не является самостоятельным доказательством: оценщик может ошибиться, а сами источники — содержать неверные сведения.
Граница применимости: Редакционный вывод из устройства автоматических оценок RAGAs и ALCE; выводимость из контекста и независимая истинность различаются.
Для диагностики полезно сопоставить доступный индекс, результаты поиска, фактический вход модели и ответ. Это помогает различить пропуск поиска, потерю фрагмента при передаче и неподтверждённый вывод.
Граница применимости: Редакционная рекомендация для проверки конкретной реализации на основе разделения поиска и генерации в DPR и ALCE; не нормативное требование этих статей.
OWASP рекомендует учитывать права доступа в хранилищах векторных представлений данных и разделять наборы данных и доступ к ним для разных групп пользователей.
Граница применимости: OWASP LLM08:2025, раздел «Разрешения и контроль доступа»; рекомендация, не проверка конкретной реализации.
В описанной Microsoft схеме Azure AI Search идентификатор пользователя или группы — строка для фильтра, которая сама не подтверждает личность или права. Приложение ограничивает доступ к документам, применяя фильтр к каждому поисковому запросу.
Граница применимости: Схема фильтрации по идентификаторам из документации Microsoft, обновлённой 24.08.2026. Не обобщается на встроенную поддержку списков контроля доступа Azure AI Search или другие системы.
Что проверить
- Проверьте наличие нужных сведений в доступном индексе и зафиксируйте его версию.
- Сохраните результаты поиска и, если используется переранжирование, набор кандидатов до и после него.
- Сверьте выбранные фрагменты с фактическим входом модели.
- Проверьте каждое существенное утверждение по указанным источникам, учитывая их совместную поддержку.
- Отдельно оцените актуальность и достоверность самих источников.
Первоисточники
- Retrieval-augmented generation (RAG) in Azure AI Search
Открыты раздел Classic RAG pattern и перечень способов поиска. Рекламные сравнения, численные обещания и предварительные возможности не использованы.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Исследовательская архитектура RAG 2020 года. Описание её памяти не переносится на все современные системы с поисковым дополнением.
Утверждения: 03
- Dense Passage Retrieval for Open-Domain Question Answering
Разделы 2–3: отбор фрагментов и top-k retrieval accuracy. Знаменатель этой метрики — число проверенных вопросов.
- Enabling Large Language Models to Generate Text with Citations
Разделы 2, 3.3 и 4.2: ссылки на фрагменты, проверка их совместной поддержки утверждения и вариант VANILLA. Проверка ссылок не устанавливает независимую истинность источников.
- RAGAs: Automated Evaluation of Retrieval Augmented Generation
Раздел 3: подтверждённость ответа контекстом, соответствие ответа вопросу и релевантность контекста. Автоматическая оценка не заменяет проверку конкретных примеров.
- LLM08:2025 Vector and Embedding Weaknesses
Раздел «Разрешения и контроль доступа»: права в хранилищах векторных представлений и разделение данных разных групп. Рекомендация, не проверка реализации.
Утверждения: 11
- Security filters for trimming results in Azure AI Search
Разделы о схеме фильтрации, поле доступа и фильтре в запросе. Строка идентификатора сама не подтверждает личность или права; фильтр ограничивает выдачу и применяется к каждому запросу. Встроенные списки контроля доступа здесь не рассматриваются.
Утверждения: 12