Описание

Этот рабочий процесс автоматизирует обогащение данных продавцов, хранящихся в базе данных Postgres, выполняя веб-запросы для поиска недостающих контактных данных, таких как вторичные электронные адреса и домены компаний. Он использует Web Unlocker от Bright Data для выполнения поисковых запросов в Google, обходящих ограничения, а затем применяет парсинг HTML для извлечения актуальных адресов электронной почты и информации о доменах.

Рабочий процесс логически разделен на следующие блоки:

• 1.1 Триггер и получение данных: Запускает процесс вручную или по расписанию и извлекает партии записей продавцов из базы данных Postgres, требующих обогащения.
• 1.2 Проверка существования домена и электронной почты: Изучает существующие поля данных (domain, email), чтобы определить соответствующую стратегию поиска.
• 1.3 Поиск в Google с помощью Bright Data: Выполняет поисковые запросы в Google, используя Web Unlocker от Bright Data, с запросами на основе доступной информации о продавцах.
• 1.4 Парсинг HTML и извлечение электронной почты: Извлекает URL-адреса и адреса электронной почты из полученных результатов поиска с помощью обработки HTML и пользовательского кода.
• 1.5 Проверка и нормализация данных: Применяет логику для проверки, что извлеченные домены и адреса электронной почты соответствуют продавцам.
• 1.6 Обновление базы данных Postgres: Обновляет записи продавцов новыми данными, такими как новые адреса электронной почты и доменные имена.
• 1.7 Управление потоками и ограничение скорости: Управляет пакетами, ожиданием между запросами и условными маршрутами для обработки отсутствующих данных или существующих значений.

Оригинал воркфлоу на сайте n8n.io

👉🏻 Скачать на сайте n8n

____________