Статья Анджелы Ши представляет манифест серии материалов о создании корпоративных систем RAG. Автор утверждает, что такие системы должны помогать экспертам работать с документами, а не заменять их универсальными аналитическими инструментами. В основе архитектуры RAG — четыре элемента: синтаксический анализ, анализ вопросов, поиск и генерация. При этом каждый этап должен отражать действия эксперта и дополнять их в тех областях, которые недоступны для ручного рабочего процесса.
Автор подчёркивает распространённую проблему: предприятия часто используют две параллельные реальности для работы с документами — непрозрачный конвейер хранения векторных данных от IT и традиционный поиск, которым пользуются эксперты (например, через Ctrl+F). Задача — объединить эти подходы: взять метод, которому доверяют эксперты (поиск по ключевым словам), и масштабировать его с помощью LLM.
Анджела Ши выделяет четыре ключевых условия для применения такой архитектуры:
1. Известен контекст документа (структура, словарь, условные обозначения).
2. Существуют и доступны эксперты в предметной области.
3. Цель — расширение возможностей эксперта, а не его замена.
4. Система должна быть проверяемой экспертом (результаты поиска отслеживаемы, ответы содержат ссылки на источники).
Также автор формулирует три основополагающих принципа построения системы:
- выбирать методы, которые распознаёт эксперт;
- создавать пирамидальную архитектуру, понятную даже начинающему инженеру;
- использовать реляционные таблицы на каждом стыке компонентов.
В статье проводится параллель с корпоративным машинным обучением 2015–2020 годов: тогда, как и сейчас в случае с RAG, успех обеспечивали решения, привязанные к конкретной предметной области, а не универсальные подходы. В заключение автор перечисляет источники и литературу, лежащие в основе представленной философии, включая работы Тетлока и Гарднера, Нормана, материалы Anthropic и другие.
Подписаться в Макс
