Необходимо написать грабер информации с сайтов. Грабер должен запускаться по расписанию, заходить на определенные сайты(из списка), проходить на них авторизацию(по логину с паролем из своей базы), анализировать появление новой информации на этих сайтах и ...
Граббер адресов URL из каталога сайтов
Нужен скрипт PHP, который будет вытягивать урлы сайтов (всего ~ 4млн. сайтов) из каталога и записывать их столбиком в файле all.txt
+ возможность вытягивать определенное количество урлов (указывать кол-во обрабатываемых страниц) из каждой категории (всего 16 категорий)
+ автоматическое удаление ненужных параметров в урле (http://www.adres.com/index.htm должен преобразовываться в adres.com)
+ сортировка на дубликаты в файле all.txt
+ возможность разделить файл all.txt на файлы (1.txt, 2.txt итд) с определенным количеством строк с урлами в каждом файле (например по 5000)
+ возможность ручной остановки работы скрипта
Ко всему этому админский интерфейс.
Выбранный исполнитель
Заявки фрилансеров
Похожие заказы
- $500Веб-программирование17 заявокЗакрыт19 лет назад
Разрабатывается сайт торговой компании. Дизайн есть, содержимое есть, движок большей частью сделан. Проблема в том, что наш программист заболел и не в состоянии в ближайшее время работать над проектом, а срок сдачи - вчера. ...
Веб-программирование1 исполнительЗавершен19 лет назадНеобходима система которая позволяла бы через браузер просматривать картографическую информацию (схему трубопроводов привязанную к топоподложке). Карта растровая и часть информации верторная (дороги, коммуникации). (Что то типа яндекс карты или яху карты) Размер карты ограничен. ...
Веб-программирование1 исполнительЗакрыт18 лет назад- $250
Минимум запросов к базе Получение контента через ATOM и RSS ленты Получение контента через HTML ленты Гибкая и быстрая настройка шаблонов для получения контента Фильтрация дубликатов Гибкая настройка структуры сайта ...
Веб-программирование12 заявокЗакрыт19 лет назад - $100
Есть код на html/php с передачей некоторых параметров через форму запроса. Необходимо решить проблему передачи этих параметров через простой движок, который, видимо, препядствует нормальной передаче. Работа срочная. Сложность не определена. ...
Веб-программирование16 заявокЗакрыт19 лет назад Нужно раскодировать PHP файл , который зазендирован с помощью ZEND
Веб-программирование7 заявокЗакрыт19 лет назад- $200
PHP скрипт для WAP Пример Для полноценного использования сайта нужна регистрация! Без регистрации возможности скачивания файлов с сайта ограничены,т.е после скачивание одного файла,скачивание другого ...
Веб-программирование1 исполнительЗакрыт19 лет назад http://logi-100.narod.ru/tz.html
Веб-программирование7 заявокЗакрыт19 лет назадУ нас интернет магазин, и очень много писем не доходят, письма - это информация о статусе заказа. Я слышал что можно оптимизировать скрипты отпарвки писем, чтобы более менее письма доходили ...
Веб-программирование6 заявокЗакрыт19 лет назадНужно разработать скрипты обменного пункта. Обменник должен работать с валютами WebMoney и Yandex.деньги (желательно также с RuPay, E-Gold)
Веб-программирование9 заявокЗакрыт19 лет назад