RAG на YandexGPT: корпоративный поиск со ссылками на источники

Retrieval-Augmented Generation — обязательный паттерн для корпоративных AI-ассистентов. Модель отвечает только на основе ваших документов, со ссылками. YandexGPT 4 + yandex-embeddings + векторная база — рабочий стек, проверенный 1IT в десятке проектов.

Архитектура

• Источники: wiki, СЭД, портал, PDF — ETL в единое хранилище.
• Чанкование: 400–800 токенов с overlap 100, по семантическим границам.
• Embeddings: yandex-embeddings или e5-multilingual.
• Векторная база: Qdrant, Weaviate или pgvector.
• LLM: YandexGPT 4 Pro для синтеза ответа.

Качество поиска

Чистый векторный поиск даёт 60–70% recall. Гибрид векторного + BM25 + reranker (cross-encoder) поднимает до 85–92%. Reranker критически важен для длинных документов и технических текстов.

Цитирование и доверие

В каждом ответе — список источников со ссылкой на исходный документ и фрагмент текста. Без цитирования RAG быстро теряет доверие пользователей.

Метрики и приёмка

1. Подготовить «золотой набор» 100–300 пар вопрос-ответ.
2. Замер метрик: hit rate@k, MRR, faithfulness, answer relevance.
3. Регрессионный прогон при каждом обновлении промпта или модели.
4. A/B сравнение с baseline (классический поиск).