Парсер url со всего сайта (php, MySQl or Ruby)

  1. Биржа фриланса
  2. Веб-программирование
Закрыт5 заявок150 просмотров

Возможно написание на php или Ruby

1. по указанному url-у обойти весь сайт и собрать все ссылки

2. сгенерировать отчет: количество обойденных страниц, количество уникальных ссылок

3. записать все адреса в БД

Условия:

1. бот не должен выходить за рамки указанного домена

2. код должен быть с комментариями (можно на русском)

3. собирать все ссылки, как относительные так и абсолютные (href=”http://test1.ru/111” и href=”111” и др варианты)

4. не учитывать якорные ссылки

5. не учитывать ссылки вида href="javascript:

6. в БД писать только уникальные ссылки без домена

7. многопоточность

8. не заходить на страницы и/или не записывать в БД, которые запрещены в robots.txt (если включена функция в настройках)

9. во время выполнения скрипта отображать процесс в брайзере

10. использовать сторонних библиотеки и фреймворков запрещено

11. игнорировать содержимое

Настройки

• Количество потоков

• не заходить на страницы запрещенные в robots.txt

• не записывать в БД страницы запрещенные в robots.txt

• лимит на количество найденных страниц

• лимит на количество найденных url

• игнорировать ссылки на файлы с расширение (список задается)

• игнорировать содержимое (да, нет)

• игнорировать ссылки с параметром "nofollow" (да, нет)

• игнорировать страницы с (да, нет)

• игнорировать страницы с (да, нет)

БД

CREATE TABLE IF NOT EXISTS `donor` (

`donor_id` int(11) NOT NULL AUTO_INCREMENT,

`donor_url` varchar(120) NOT NULL,

`donor_date` date NOT NULL,

PRIMARY KEY (`donor_id`),

UNIQUE KEY `donor_url` (`donor_url`)

) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

ОТ ВАС ЖДУ

Цена и сроки.

JavaScriptMySQLPHPRuby
11 лет назад
alex_adamovitch
Алексей 
39 лет
12 лет в сервисе
Был
10 лет назад

Заявки фрилансеров

Нет заявок фрилансеров

  • Похожие заказы

  • Веб-программист php на постоянку - удаленка

    $2500

    Нуждаемся в программисте / команде / компании для доработки новой версии туристического сайта (продажа туров и экскурсий): * допиливание, развитие и поддержка API для мобильных и сторонних приложений * разработка на ...

    GitHTMLMySQLNginxPHP
    Веб-программирование1 заявка
    Закрыт
    11 лет назад

  • Разработать АПИ для интернет магазина

    $250

    Разработать АПИ для интернет магазина задача: есть интернет магазин (А), сделали еще один (B), нужно разработать (на PHP) API для передачи информации о товарах и сопутствующих аксессуаров из интернет магазина А в В, чтобы ...

    PHP
    Веб-программирование5 заявок
    Закрыт
    11 лет назад

  • Система копирования RSS на сайт

    Это нужно интегрировать в существующий сайт на SMARTY CMS RSS ленту со сторонних сайтов (открытый php код). На сайте уже есть зарегистрированные пользователи, которые и хотели бы получать информационную рассылку согласно выбранным ими тематикам. ...

    PHP
    Веб-программирование5 заявок
    Закрыт
    11 лет назад

  • Форма ламинации профиля ПВХ

    Требуется создать форму заказа по готовому примеру, но без исходных кодов. Когда выбираешь значение активируется второй список, относительно значения в первом. Ссылку на форму вышлю в ЛС,

    Веб-программирование4 заявки
    Закрыт
    11 лет назад

  • Разработка системы управления проектами в компании

    $250

    Система предназначена для организации проектов в Компании, управление финансовой деятельностью между её участниками и клиентами, система автоматизировано распределяет проценты между исполнительными лицами, ответственными за определенный проект. Система делиться на 3 трех типов участников: ...

    Веб-программирование5 заявок
    Закрыт
    11 лет назад

  • Drupal7. Ubercart. Доработки

    $76

    Есть сайт зорак.рф на друпал7. Надо: 1. установить автоматическое уменьшение цены на товар с увеличением объема закупок (от суммы). Допустим купили от 10000 руб. значит скидка 10%. 2. Перевод покупателя на ...

    Веб-программированиенет заявок
    Закрыт
    11 лет назад

  • Информер для кино сайта

    Нужен красивый информер популярных или последних новостей под темный дизайн сайта на движке ucoz. Должно выводиться изображение новости, Название и описание Описание буду добавлять через дополнительное поле. Информер буду ставить ...

    Веб-программирование1 заявка
    Закрыт
    11 лет назад

  • Ошибка сайта при переносе на другой хост

    Здравствуйте !В приложении принт скрин ! Базу сайта оставили прежнию,заменили только файлы сайта (кроме файлов конфиги папки files) Сайт на simpla cms. Не все картинки отображаются на сайте,хотя раньше отображались Все,бекап когда ...

    Веб-программирование3 заявки
    Закрыт
    11 лет назад