Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Нужно написать (можно использовать сущ. крулеры, сайтмап генераторы или парсеры) краулер для сканирования страниц большого кол-ва страниц.

Основные требования для краулера:

1. Проходит все страницы и находит все ссылки.

2. Сканирует страницы на error, warning, notice (а также пустые страницы). Находит ошибки 404, 500, пустые страницы и т.д. (сохраняет урл источника)

3. Работает с таймаутом

4. Генерирует сайтмап (учитывает disallow в robots.txt)

5. Генерирует файл с ошибками

6. Кодировка UTF-8

14 лет назад
P2P
40 лет
17 лет в сервисе
Был
2 года назад
34 отзыва

Выбранный исполнитель

nifus
Иван 
39 лет
19 лет в сервисе
Был
10 лет назад
14 лет назад
$60
4 дня
Александр профессионально подошел к решению поставленной задачи. Работа выполнена оперативно и качественно. Мастер работает по призванию.
Отличный заказчик, никаких проволочек. Хороше техническое задание и быстрая оплата

Заявки фрилансеров

nifus
Иван 
39 лет
19 лет в сервисе
Был
10 лет назад
14 лет назад
  • Похожие заказы

  • $50

    Есть сайт на ShopCMS Необходимо php парсер изображений товара. Имеются 2 сайта донера, общие совпадения это артикул товара. Первый этам, делаем парсер для первого сайта, более простой. После ...

    Закрыт
    14 лет назад
  • Программирование сайта нужно сделать преогромную часть Программная часть сайта запрограммировать сайт макеты в приложение от вас сроки и бюджет товары экспортируются с 1С будет конвертироваться для базы как вам будет удобней ...

    Закрыт
    14 лет назад
  • Нужно сделать ssl в virtuemart, он включен только выводитьсяна первос транице корзины а нужно сделать что бы на все корзине работало digitalok.com. Проблема в компоненте Joomsef? при отключеном работает все нормально. Пишите цену и ...

    Закрыт
    14 лет назад
  • $1000

    Ищем опытного программиста. Для доработки и исправлении багов сайта портала или небольшая соц сеть на самописном движке. Только с опытом подобных работ и хорошим умением разбираться в чужом коде . Портфолио обязательно.

    Закрыт
    14 лет назад
  • $50

    Есть готовый калькулятор java-script на html-страничке (файл в приложении) для расчета цены в зависимости от типа окна и размера. Задача: перенести этот калькулятор на Joomla 1.6 и сделать удобное изменение цен в ...

    Завершен
    14 лет назад
  • $500

    Добрый день! Предлагается срочный проект: нужно создать калькулятор с отдельным дизайном и на отдельном хостинге. Можно предлагають услуги дизайна отдельно и услуги программинга отдельно, но лучше чтобы все сделали "одни руки". Идея ...

    Закрыт
    14 лет назад