Multi-Instance Парсер с Прокси и Каптча-солвером
Selenium Multi-Instance Парсер, работающий через ротационный прокси, с кастомным captcha-солвером (прохождение капчи) с сохранением результатов в БД (данных на 1.5 млн строк).
Технические детали: Парсер на Selenium, подключен пул прокси, также встроен самописный модуль для прохождения капчи ботом. Развёрнуто (оптимальное по железу VPS) кол-во Docker-конейнеров с парсерами, которые сохраняют результаты парсинга в БД. Также через Docker настроены процедуры healthcheck после отработки каждого парсера, авто re-run, и авто-запуск новых инстансов за счёт взаимодействия с хранимой процедурой в БД PostgreSQL. Также через утилиту crontab в Linux, настроен ежедневный авто бекап БД.