Подсчет всех внешних ссылок с сайтов

  1. Биржа фриланса
  2. Веб-программирование
Закрыт9 заявок206 просмотров

Здравствуйте. Стоит вот какая задача:

Есть список сайтов в txt файле. Необходимо написать программу/скрипт (паука), который обошел бы все страницы этого сайта, и подсчитал количество внешних ссылок с этого сайта. Естественно ссылки должны проверяться на теги noindex, закрытость от индексации с помощью ява-скриптов, robots.txt.

После того, как "паук" обойдет все страницы всех сайтов нужно выгрузить эти данные в БД Mysql на сервер (если это будет программа, то она ес-но будет запускаться из-под Windows, и нужно придумать решения для загрузки данных на сервер.)

Также одно из основных требований - скрипт/программа должна работать в многопоточном режиме.

Хотел бы услышать от Вас цену и сроки. Спасибо.

MySQL
15 лет назад
uaix
36 лет
17 лет в сервисе
Был
2 года назад

Заявки фрилансеров

Нет заявок фрилансеров