Написать парсер

  1. Биржа фриланса
  2. Веб-программирование
Закрыт5 заявок290 просмотров

Добрый день, уважаемые коллеги.

Необходимо написать следующий парсер - массовой проверки основных показателей сайта (домена).

А. тиц

Б. PR google

В. Проиндексировано страниц яндексом

Г. Проиндексировано страниц гуглом

Д. Беков по yahoo

E. Дата регистрации домена

Ж. Дата окончания регистрации домена

З. Наличие в ЯК

К. Наличие в DMOZ

-------

Как собирать инфу? Ниже урлы, как можно определить данные параметры:

Гугл - http://toolbarqueries.google.com/search?client=navclient-auto&hl=en&ch=61382227663&ie=UTF-8&oe=UTF-8&features=Rank&q=info:http%3A%2F%2Fsw-eshop.com%2F

http://www.google.com/search?hl=en&safe=off&q=site%3Asw-eshop.com&btnG=Search - About 577 results (0.19 seconds)

http://siteexplorer.search.yahoo.com/advsearch?p=http%3A%2F%2Fsw-eshop.com&bwm=i&bwmo=d&bwmf=s - парсиш Inlinks

http://web.archive.org/web/*/http://sw-eshop.com - no matches или же http://web.archive.org/web/*/http://builderjob.co.uk - и выдираете первый год

Яндекс - ТИЦ и КАТАЛОГ - http://search.yaca.yandex.ru/yca/cy/ch/www.euro-clinic.ru/

Если нет в каталоге, то будет просто - http://search.yaca.yandex.ru/yca/cy/ch/www.creologic.us

http://yandex.by/yandsearch?rdrnd=215064&serverurl=www.euro-clinic.ru&lr=153 - колво строниц. Нашлось 1404 ответа (выдрать эту цыфру)

E. Дата регистрации домена

Ж. Дата окончания регистрации домена

- вот так - http://whois.domaintools.com/builderbuy.co.uk, например.

Надо написать 2 PHP скрипта.

Есть 2 вида скриптов.

1 - главный

2 - это те, кто будет парсить. Они будут расположены в разных местах (т.е. иметь разные Ip и домены)

Главный запускается через крон (инструкция запуска от вас), в него передаются список IP адресов где располагаются скрипты N2, общая пауза для проверки чтобы сервисы не забанили, а также, какие сайты проверять. При его запуске он обходит скрипты N2 по очереди и собирает информацию.

Скрипт N1 обращается к скрипту N2 обращается в формате json и такой же ответ получает. Json - можете заменить любым другим популярным форматом. Так, он обходит по очереди скрипты N2 пока список не закончится и собирает данные.

В главном скрипте формируется mysql таблица с каждым доменом и его характеристик, а также временем последнего опроса карактеристики.

Требования к коду:

Он должен быть более менее красивым и с комментами.

класс методами для получения парметров

вроде

class Parser {

public function getDmoz($url);

public function getYandexCatalog($url);

}

Вроде все. Пишите свои цены, время реализации.

Пишите пож только в проект, остальное игнорится. Предложения скрыты

MySQLPHP
15 лет назад
CreoShopCms
Юрий 
44 года
18 лет в сервисе
Был
10 лет назад

Заявки фрилансеров

Нет заявок фрилансеров