Есть парсер налету грабит данные с донора. Требует внесение изменений из-за изменений на доноре.
Веб-программирование9 заявок
Закрыт
10 лет назад
Скрипт, собирающий список страниц сайта
$10
Закрыт2 заявки150 просмотровНужно написать PHP скрипт, который собирает список всех страниц указанного сайта.
То есть мы указываем в переменной URL сайта и должны в итоге получить список всех его страниц.
Скрипт не должен зависеть от ограничений хостинга, на котором выполняется. То есть, не должен быть сильно требовательным к оперативной памяти (128M - это нормлаьно), а если на сервере есть ограничение по времени работы скрипта, то после остановки скрипт должен перезапуститься и продолжить работу и так до тех пор, пока задача полностью не будет выполнена.
Код должен быть легко читаемым и вмеру закоментированным, чтобы можно было разобраться в нем.
Для выполнения скрипта задаются переменные:
$site - сайт, который надо спарсить. Например http://www.thule.com
$site_start - "стартовый" раздел для парсинга. То есть тот раздел, который надо спарсить. Например, http://www.thule.com/ru-ru/ru/ - парсим только раздел на русском языке.
$excludes - массив исключений. Если в УРЛе встречается одно из этих исключений, эту страницу мы не парсим. Например:
$excludes = array ("/en/", "forgottenpassword", "my-account/") - "запрещаем" для парсинга англоязычный раздел, страницу напоминания пароля и личный кабинет.
$depth - глубина "прохода" сайта при парсинге. 1 - парсим только главную страницу. 2 - проходим все страницы 2-го уровня и т.д.
Заявки фрилансеров
Нет заявок фрилансеров
Похожие заказы
Создать электронную таблицу и выполнить анализ данных электронной таблицы с использованием мастера сводных таблиц и мастера диаграмм . Подробности в ЛС
Веб-программирование1 заявкаЗакрыт10 лет назадНеобходимо разместить на сайте и настроить скрипт позволяющий Гуглу отслеживать события и настроить отображение данных событий в Google Analytics. Подробнее: https://developers.google.com/analytics/devguides/collection/analyticsjs/events
Веб-программирование3 заявкиЗакрыт10 лет назадНужно сделать возможность комплектации товаров с услугой. Есть услуга “Заправка картриджа” - (ее комплектую товаром: тонер, чип, ракель) и когда провожу реализацию на услугу "Заправки картриджа", у меня со склада списывается весь товар, который ...
Веб-программирование1 заявкаЗакрыт10 лет назаднужен сайт на основе ktools photostore pro со всеми возможностями движка + оригинальный дизайн сайта
Веб-программирование1 заявкаЗакрыт10 лет назадна сайте есть новый функционал в виде слайдеров фото и видео материалов, при больших и средних объемах информации в этих слайдерах существенно тормозит сайт. Данные слайдеры сделаны стандартными средствами битрикса, т.е. при загрузке страницы загружается ...
Веб-программирование5 заявокЗакрыт10 лет назадна php. Требуется парсер данных о товарах, в базу данных mql формата. Запускаться парсер будет на VDS сервере через cron (это очень важно)! Так же нужен полный перевод данных через гугл или ...
Веб-программирование7 заявокЗакрыт10 лет назад- $150
Требуется веб программист для периодического сотрудничества для написания различных плагинов под движок магазина ShopCMS и CMF Cotonti. На данный момент нужно несколько плагинов и модификаций под ShopCMS. Оплата после работы, можно делить ...
Веб-программирование3 заявкиЗакрыт10 лет назад Есть два рабочих сайта, нужно спарсить все товары и структуру данных товаров и развернуть данные товары с той же структурой на любой CMS (платной или бесплатной), дизайн абсолютно любой. В итоге у ...
Веб-программирование1 исполнительЗавершен10 лет назадПриветствую Сайт работает на движке Wordpress Сейчас очень много постов с одинаковыми названием и описанием поста (но разные допольнительные поля), когда переходишь в этот пост, то там выводятся сразу все посты ...
Веб-программирование2 заявкиЗакрыт10 лет назад