Есть поисковая выдача Яндекс.Директа - https://direct.yandex.ru/search

Требуется написать парсер доменов данной выдачи.

Парсер берет поочередно запросы из файла keywords.txt, вставляет их в https://direct.yandex.ru/search и идёт по всем страницам выдачи (этих страниц немного, как правило), сохраняя домены сайтов этой выдачи в файл domains.txt

Должна быть настройка задержек:

1. Задержка перехода по страницам выдачи по каждому запросу.

2. Задержка по каждому ключевому запросу.

3. Когда парсер обрабатывает последний запрос из файла keywords.txt - он чистит файл domains.txt на дубликаты.

4. Другие задержки (какие предложите).

Запросов в файле keywords.txt может быть много (5000-10000 тысяч).

Парсер должен уметь работать с SOCKS5\4, HTTPS-прокси!

Должна быть возможность работать в многопоточном режиме.

9 лет назад
andreymrf
Ломов 
42 года
9 лет в сервисе
Был
9 лет назад

Заявки фрилансеров

Нет заявок фрилансеров