Описание

Этот рабочий процесс автоматизирует извлечение структурированных данных в формате JSON с любых веб-страниц, сочетая веб-скрейпинг с AI-сгенерированным пользовательским кодом для извлечения. Он разработан для решения распространенной проблемы, когда веб-скрейперы перестают работать из-за изменений в макете страниц, динамически создавая функции извлечения на JavaScript с помощью большой языковой модели (Google Gemini).

Рабочий процесс логически разделен на следующие блоки:

• 1.1 Прием входных данных: Получает сигнал для начала скрейпинга предопределенного URL.
• 1.2 Веб-скрейпинг: Использует узел сообщества ScrapeNinja для получения исходного HTML-содержимого с целевой веб-страницы.
• 1.3 Очистка HTML: Очищает скопированный HTML, чтобы подготовить его для извлечения.
• 1.4 Обработка ИИ: Отправляет очищенный HTML в Google Gemini для генерации пользовательской функции JavaScript, которая извлекает соответствующие данные с использованием Cheerio.js.
• 1.5 Извлечение данных: Выполняет AI-сгенерированную функцию извлечения на JavaScript в изолированной среде с очищенным HTML для получения структурированных данных в формате JSON.

Оригинал воркфлоу на сайте n8n.io

👉🏻 Скачать на сайте n8n

____________