Php: прокси и многопоточность

$50
  1. Биржа фриланса
  2. Веб-программирование
Закрыт3 заявки166 просмотров

Я нуждаюсь в доработке моего php-парсера страниц.

знание php на среднем уровне, поэтому и обращаюсь...

во первых, мне нужно добавить работу с проксями, потому как уже получил кое-где бан по ай-пи.

во вторых, нужно прикрутить многопоточность и мультизапросность парсинга. извините, не совсем в теме ;)

в общем, оптимизировать время исполнения скрипта... курлами, сокетами или по другому, не знаю, как лучше, тут на ваше усмотрение. главное, чтобы без глюков, без подвисаний.

на счет моего скрипта, то он выполняет примерно следующее:

$parsArr = array();//массив из 20 кое-каких параметров

$urlsArr = array();//массив url'ов для парсинга, 1000-2000

foreach($parsArr as $par) {

foreach($urlsArr as $url) {

$cont = file_get_contents($url);

//далее из $cont выдираются нужные данные

//и если все данные ($data) собраны, они перадаются в функцию парсинга страниц

parsePages($url,$data,$par);

}

}

parsePages($url,$data,$par) {

for($i=1;$i

$cont = file_get_contents($url.$i);

//ну, а дальше ничего интересного ;)

}

}

т.е. полный парсинг выполняется 20 раз с некоторыми изменениями.

вот это нужно оптимизировать... поставить выполнение сразу на 20 процессов + мультизапросы.

какие будут предложения?

PHP
17 лет назад
webtaras
Тарас 
36 лет
18 лет в сервисе
Был
8 лет назад
16 отзывов(-1)

Заявки фрилансеров

Нет заявок фрилансеров