Создайте систему RAG с Paul Essays, Milvus и OpenAI для цитируемых ответов

Легко преобразует эссе Пола Грэма в мощную, поисковую базу знаний на основе ИИ с помощью Milvus и OpenAI. Извлекает, обрабатывает и векторизует эссе, а затем хранит их в векторной базе данных Milvus для молниеносного извлечения. По запросам пользователя находит соответствующий текст, используя встраивания OpenAI, формирует точные ответы и указывает источники для повышения прозрачности. Оптимизирует процесс загрузки документов, семантический поиск и генерацию качественных ответов — всё полностью автоматизировано. Идеально подходит для создания надежных систем RAG (Retrieval-Augmented Generation), основанных на источниках, с использованием современных технологий с открытым исходным кодом и ИИ.

Category: n8n

Описание
Отзывы (0)

Описание

Этот рабочий процесс создает систему, основанную на дополненной генерации извлечения (RAG), предназначенную для ответов на вопросы пользователей на основе содержания эссе Пола Грэма с указанием источников. Он использует векторную базу данных (Milvus) для хранения и извлечения векторных представлений документов, созданных с помощью OpenAI embeddings, и языковые модели OpenAI для генерации четких ответов с поддержкой ссылок.

Рабочий процесс логически делится на два основных блока:

1.1 Сбор и обработка данных

Цель: Собирать эссе Пола Грэма с его сайта, извлекать контент, разбивать его на управляемые части, генерировать векторные представления с помощью OpenAI и загружать эти векторы в коллекцию Milvus для эффективного извлечения.
Включает в себя HTML-скрапинг, извлечение контента, разбивку, встраивание и вставку в векторное хранилище.

1.2 Извлечение и генерация ответов

Цель: Обрабатывать входящие запросы чата, извлекать релевантные части документов из Milvus на основе векторного сходства, готовить контекстные данные, подготавливать языковые модели OpenAI для ответа на запрос с цитированием источников, а затем форматировать и возвращать окончательный ответ.
Включает в себя триггер чата, встраивание пользовательского запроса, извлечение из Milvus, подготовку частей, генерацию ответа и составление цитат.