Необходимо написать на пхп парсер поисковых систем Google, Yahoo, Msn. Основное условие - парсер должен вытягивать из одного поисковика более 1 000 000 результатов за один запуск. Просьба оставлять предложения только знающих людей, которые имели опыт работы с таким типом скриптов.

Немного уточню, не все меня правильно поняли. Запросов в парсер может быть вбито несколько тысяч, задача вытащить по ним более одного миллиона урлов, надо подумать как это сделать, скорее всего надо грамотно реализовать работу с прокси, т.к. поисковик достаточно быстро забанит айпи с которого идет парсинг. Парсер должен быть серверным.

Необходимо написать на пхп парсер поисковых систем Google, Yahoo, Msn. Основное условие - парсер должен вытягивать из одного поисковика более 1 000 000 результатов за один запуск. Просьба оставлять предложения только знающих людей, которые имели опыт работы с таким типом скриптов.

Немного уточню, не все меня правильно поняли. Запросов в парсер может быть вбито несколько тысяч, задача вытащить по ним более одного миллиона урлов, надо подумать как это сделать, скорее всего надо грамотно реализовать работу с прокси, т.к. поисковик достаточно быстро забанит айпи с которого идет парсинг. Парсер должен быть серверным.

Гость anatoly84

Парсер поисковых систем