RAG: как создать корпоративного ИИ-ассистента на своих документах

RAG — архитектура, при которой LLM отвечает не из «своей головы», а на основе подгружаемых при каждом запросе фрагментов ваших документов. Это снижает галлюцинации и позволяет использовать актуальную корпоративную информацию.

Компоненты RAG

• Пайплайн ingestion: парсинг PDF/DOCX/HTML, очистка, chunking (200–800 токенов).
• Эмбеддинги: multilingual-e5-large, bge-m3, text-embedding-3-large — выбираются по качеству на русском.
• Векторная БД: Qdrant (Россия, open-source), Weaviate, pgvector (если используется PostgreSQL).
• LLM: YandexGPT, GigaChat, Claude (через proxy), Llama 3 on-prem.
• Reranker: cross-encoder (bge-reranker) — поднимает точность top-k на 15–25%.
• Оркестратор: собственный слой на FastAPI / Node, LangChain для прототипа.

Типовые ошибки

Плохой chunking (слишком большие куски — теряется смысл, слишком малые — нет контекста). Отсутствие метаданных (источник, раздел, дата). Отсутствие grounding — ответ без ссылок на документы-источники.

Оценка качества

Создаём тестовый датасет из 100–300 Q&A, размеченных экспертом. Метрики: recall@k (доля правильных источников в top-k), faithfulness (ответ не выходит за контекст), answer relevance. Мониторим онлайн через RAGAS или собственный харнесс.

Сроки и стоимость

1. Неделя 1–2: Discovery, выбор LLM, тестовый dataset.
2. Неделя 3–4: MVP — ingestion + базовый RAG + chat-UI.
3. Неделя 5: Тюнинг (chunking, reranker), интеграция c SSO.
4. Неделя 6: Приёмка, запуск в prod.