Есть форум на базе www.invisionpower.com/apps/board/. Нужен парсер, которому я бы задавал урлы разделов форума, например: http://forums.rotoworld.com/index.php?showforum=4, а парсер проходил бы по всем тредам этого форума и собирал с них емейлы.

Обратите внимание, что в форумах на базе ip.board есть паджинация как в форумах, так и в тредах. Нужно чтобы парсер проходил форумы и треды полностью.

Парсер может быть выполнен в виде консольного приложения, либо в виде программы для интерпретатора, например на питоне.

Парсер должен поддерживать ряд настроек, в частности:

- урлы форумов

- номер страницы паджинации с которой начинать парсинг для каждого из урлов (на случай, если парсин отвалится, чтобы продолжить с того места, где он закончил в предыдущий раз)

- количество тредов, которые нужно парсить в форуме за сеанс

- мин. и макс. задержка между запросами (для антибана)

- путь к файлу со списком емейлов

- путь к логам

Парсер должен вести лог, в который писать следующую информацию:

- урл форума

- номер страницы паджинации форума

- урлы тредов

- количество емейлов в треде

В предложении прошу указывать язык программирования, стоимость и предположительное время готовности.

12 лет назад
anatlys
49 лет
16 лет в сервисе
Был
5 лет назад

Заявки фрилансеров

Нет заявок фрилансеров