Парсер по ссылкам на разные сайты

$50
  1. Биржа фриланса
  2. Веб-программирование
Завершен6 заявок193 просмотра
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Написать скрипт который будет переходить по ссылкам из списка, копировать ключевое слово, и добавлять в наш sql.

Цель скрипта:

1. Переход по ссылкам из списка.

Ссылки постоянно обновляются в списке, ссылок более чем 40 000, сайтов примерно 1000, сайты разные!

2. Скрипт ищет на странице ключевое слово «Состояние», копирует ответное значение данного поля…

4. Сохраняет ответ поля в нашу базе, и запоминает из какой ссылки был получен данный ответ.

5. Лог действий скрипта.

Так как сайтов не мало, и у каждого своя структура, то лог нужен для мониторинга работы скрипта…

Функциональная логика:

1. Подключение к базе

2. Выборка данных в массив

3. Проход каждой ссылки CURL-ом через прокси

4. Поиск в результате ответа нужного участка кода с помощью регулярных выражений

5. Обработка найденного на предмет нужного ответа

6. Занесение ответа в базу по id строки в базе

7. Ведение пошагового txt лога

SQL
10 лет назад
zacker2
Андрей 
37 лет
15 лет в сервисе
Был
19 дней назад

Выбранный исполнитель

andronick83
39 лет
12 лет в сервисе
Был
9 лет назад
10 лет назад
$50
1 день
Отличная работа, все сделано так как нужно, буду дальше сотрудничать, и всем рекомендую...
Хороший заказчик, интересные задания, полная своевременная оплата. Сотрудничеством доволен.

Заявки фрилансеров

andronick83
39 лет
12 лет в сервисе
Был
9 лет назад
10 лет назад