Описание

Этот рабочий процесс реализует поисковую систему с поддержкой извлечения и генерации (RAG) для видео на YouTube, специально разработанную для индексации и поиска транскриптов видео с официального канала n8n на YouTube или любого другого публичного канала. Он использует Apify для сбора метаданных видео и субтитров, Qdrant в качестве векторной базы данных для хранения эмбеддингов и LLM от OpenAI для семантического поиска и резюмирования. Рабочий процесс делится на два основных этапа:

• Этап 1: Сбор данных и заполнение векторного хранилища

  • Получение последних видео с YouTube с использованием Scraper от Apify.
  • Скачивание субтитров видео (транскриптов).
  • Разделение транскриптов на удобные для обработки куски.
  • Генерация эмбеддингов для кусков с помощью OpenAI.
  • Хранение эмбеддингов и метаданных в векторном хранилище Qdrant.

• Этап 2: Веб-интерфейс и API поиска

  • Предоставление вебхука для простого веб-интерфейса для пользовательских запросов.
  • Прием поисковых запросов через вебхук API.
  • Генерация эмбеддингов запросов.
  • Выполнение продвинутого группового поиска в Qdrant для получения релевантных кусочков транскриптов, сгруппированных по видео.
  • Использование ИИ для извлечения и резюмирования релевантных частей транскриптов.
  • Форматирование результатов в HTML-шаблон.
  • Возврат комбинированного ответа, сгенерированного ИИ, и результатов поиска на фронтенд.
  • Встроенный плеер YouTube позволяет пользователям смотреть видео в соответствующих временных метках.

Логические блоки:

• 1.1 Получение последних видео (Apify)
• 1.2 Обработка транскриптов видео и заполнение векторного хранилища (подзадача)
• 1.3 API поиска с ограничением по скорости (Redis)
• 1.4 Групповой поиск Qdrant и извлечение ИИ
• 1.5 Форматирование результатов и генерация ответа
• 1.6 Веб-интерфейс и воспроизведение видео

Оригинал воркфлоу на сайте n8n.io

👉🏻 Скачать на сайте n8n

____________