Что такое база знаний
Из чего состоит база знаний в Semantix: документы, фрагменты, модель эмбеддинга и индекс; как создать базу, кто её видит и как ассистент работает с несколькими базами.
База знаний (в интерфейсе и API она же называется набором данных или датасетом) является источником, по которому ассистент ищет ответ. Эта статья объясняет, из чего база состоит, как её создать и как она связана с ассистентами.
Из чего состоит база
| Составляющая | Что это |
|---|---|
| Документ | Загруженный файл или запись, пришедшая из коннектора. У документа есть название, размер, дата загрузки, метод фрагментации и статус обработки |
| Фрагмент (chunk) | Часть документа, которую находит поиск и которую ассистент цитирует в ответе. Документ после обработки состоит из десятков или тысяч фрагментов |
| Модель эмбеддинга | Модель, которая переводит каждый фрагмент в числовой вектор. По векторам ищутся фрагменты, близкие по смыслу к вопросу |
| Индекс | Хранилище фрагментов с векторами и полнотекстовым индексом по словам. Поиск совмещает оба способа: по ключевым словам и по смыслу |
Обработка документа (парсинг) делает две вещи: разрезает файл на фрагменты с учётом его структуры и записывает фрагменты в индекс с векторами и ключевыми словами. Пока документ не обработан, ассистент его не видит.
На странице базы показаны четыре счётчика: файлы, «Фрагменты», «Токены» и «Размер». Нулевое число фрагментов у содержательного документа означает, что обработка не прошла.
Создание базы
- В верхней панели откройте раздел «База знаний» и нажмите кнопку создания базы.
- Введите название. Внутри одной организации название должно быть уникальным.
- Откройте «Конфигурация». На вкладке «Основное» задаются название, изображение и описание; описание помогает коллегам понять, для чего база и какие документы в ней ожидаются.
- На вкладке «Обработка документов» выберите модель эмбеддинга и анализатор PDF. Остальные параметры обработки скрыты в блоке «Расширенные настройки» и описаны в статье Методы фрагментации.
- Нажмите «Сохранить» и переходите к загрузке: Загрузка документов.
Внимание
Модель эмбеддинга фиксируется после появления первых фрагментов. Чтобы перейти на другую модель, придётся удалить все документы базы и обработать их заново: векторы разных моделей несравнимы между собой.
Создавать, переименовывать, менять настройки и удалять базы могут владелец и администраторы организации, а также главный администратор системы. Удаление базы удаляет её документы и индекс; файлы, связанные с базой из раздела «Управление файлами», остаются там.
Кто видит базу
Базы принадлежат организации (тенанту). Все участники организации видят все её базы, могут искать по ним, открывать документы и фрагменты, загружать и обрабатывать документы. Ресурсы другой организации не видны: если нужной базы нет в списке, сначала проверьте активную организацию в меню учётной записи.
База другой организации может быть открыта вам главным администратором в режиме «Только чтение». Такая база помечена на карточке, в ней можно искать и подключать её к ассистентам, но нельзя ничего менять. Подробнее в статье Доступ к базам и обмен между организациями.
Как ассистент работает с базами
Ассистент привязывается к одной или нескольким базам. При вопросе он ищет фрагменты во всех подключённых базах сразу, отбирает лучшие по порогу сходства и передаёт их модели вместе с вопросом. В ответе показываются использованные источники: документ и фрагмент, см. Чат с источниками.
Несколько правил при объединении баз:
- У всех баз одного ассистента должна быть одна и та же модель эмбеддинга, иначе поиск по ним невозможен.
- Если одна база должна быть приоритетнее другой (например, актуальная редакция регламентов против архива), ей назначают больший PageRank в настройках обработки.
- Базу, созданную как набор тегов, к ассистенту не подключают: она служит для разметки фрагментов других баз.
- База, которую наполняет коннектор, может не содержать файлов: содержимое пишется прямо в индекс. Проверить, что внутри, можно на вкладке «Тестирование поиска».
Перед тем как отдать базу ассистенту, полезно выполнить контрольный поиск: Проверка поиска по базе.
Что дальше
- Какие файлы можно загружать и как читать статусы обработки: Загрузка документов.
- Как коннекторы наполняют базу без ручной загрузки: Коннекторы и синхронизация.
- Чем ответ по базе знаний отличается от обычного чата с моделью: RAG и обычный чат.
Спросить Сему