Харвестер/парсер html страниц

$150
  1. Биржа фриланса
  2. Веб-программирование
Закрыт5 заявок227 просмотров
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Нужно разработать по сути 3 скрипта (или один, но который умеет делать три задачи):

1. обходит заданные сайты и собирает на них url на страницы, которые попадают под определенный шаблон.

(например, страница содержит заданный текст)

2. по собранным url получает страницы, парсит html (regexp, tidy или еще что то) и формирует xml файл.

3. на основе xml файла формирует пакетные задания для утилиты wget для загрузки файлов.

Есть первая версия скрипта п.п.1,2. Ее можно или доработать (что вряд ли) или просто взять за основу для информации. Так как она была написана очень быстро и для развития мало пригодна.

Цель - получить скрипты, которые без сильного изменения кода можно настраивать на другие схожие сайты. Т.е. все что можно вынести в настройки, шаблоны и т.д. надо вынести. Понятно, что сделать сразу универсального робота нельзя. Но надо получить такую структуру кода, чтобы я потом мог сравнительно легко его адаптировать под другой сайт с другими условиями отбора страниц. Т.е. есть ядро и есть какая то часть которая меняется для конкретного сайта.

Так же важно понимать, что могут быть разные кодировки у страниц и у БД, что при формирование xml надо заменять спец. символы html и т.д. - ну то есть не наступать на грабли, которые связаны с парсингом текста.

Многопоточность не нужна, но важна стабильность работы. Т.е. надо хендлить корректно все возможные errors.

Запуск скриптов предполагается через cron или вручную.

Важно! Скрипт должен уметь работать через прокси (чтобы не было проблем с реальным IP). Делать паузы между запросами.

Технологии: PHP 4.4, MySQL 4.1.

Тематика целевых сайтов - аренда недвижимости.

Сайтов два.

Срок - до конца февраля.

HTMLMySQLPHP
17 лет назад
alexxxey
49 лет
17 лет в сервисе
Был
17 лет назад

Выбранный исполнитель

joomba
125 лет
19 лет в сервисе
Был
16 лет назад
11 отзывов(-4)
17 лет назад
$150
2 дня

Заявки фрилансеров

joomba
125 лет
19 лет в сервисе
Был
16 лет назад
11 отзывов(-4)
17 лет назад

  • Похожие заказы

  • Создание крупного портала

    $2000

    Для работы над крупным Интернет- проектом посвященным системам развития человека требуется web-программист. Нужен человек со знанием языков программирования, например, PHP5 (на высоком уровне). Знание SQL, и в частности умение работать с MySQL ...

    CSSHTMLMySQLPHPSQL
    Веб-программирование22 заявки
    Закрыт
    17 лет назад

  • Доработать скрипт

    $10

    Необходимо доработать скрипт раздела рекомендуемые. Перейдите на страницу www.amtell.ru, с права под панелью навигации разположен блок показа одного из рекомендуемых товаров. Но при переходе на страницу с описание товара возникает ошибка, например http://www.amtell.ru/info.php?idd=403260 ...

    Веб-программирование1 исполнитель
    Завершен
    17 лет назад

  • Плагин под движок wordpress (php)

    $50

    Даннный плагин на главной (в архиве, в рез. поиска) выдает не полный post, а только его часть. Часть можно генерировать по разному. 1. Исключения (опционально) - для “sticky post” (сообщение, которое находится всегда сверху, ...

    HTMLPHPWordPress
    Веб-программирование2 заявки
    Закрыт
    17 лет назад

  • Элементарный FLASH-банер

    $15

    Нужен Флеш банер Размером 310 Х 203. Чтоб там пробегали картинки с сылками по кругу. Картинки можно посмотреть в приложении, пример оформления тоже там. Название ссылок и адреса тоже в приложении. Все должно быть на ...

    Веб-программирование1 исполнитель
    Закрыт
    17 лет назад

  • Простенький каталог

    $30

    каталог категории, подкатегории форма добавления в каталог описание короткое полное администрирование добавленных сайтов сохранения скриншетов сайта категории в виде облака тегов 3 вила главной страницы (20 новых, названия, ...

    Веб-программирование1 исполнитель
    Закрыт
    17 лет назад