Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Необходимо написать приложение, которое (средствами curl) будет посещать веб-страницы (представляясь краулером), собирать с них необходимые данные (от размера страницы и заголовков до произвольных кусков текста, всего более 30 параметров), и сохранять их в кеш на основе БД Redis. Отдельный скрипт по крону должен переносить данные из Redis в MySQL.

Программа должна корректно работать при запуске большого числа копий (более 1000).

Приложение необходимо написать на языке PHP-7 с использованием современных принципов ООП. Доступ к веб-страницам осуществляется с помощью сURL. (Возможно рассмотрение другого ЯП для разработки приложения, но только в случае доказательства неоспоримого преимущества в скорости работы, и выигрыше в требуемых ресурсах, а также при наличии опыта в написании подобных приложений на желаемом ЯП.)

Опыт работы с подобными задачами очень приветствуется.

8 лет назад
monkkeybiz
Андрей 
44 года
16 лет в сервисе
Был
3 года назад

Заявки фрилансеров

Нет заявок фрилансеров
  • Похожие заказы

  • Нужно настроить автопубликацию через крон в страницу ВК. Есть сайт-гороскоп, нужно публиковать одну и ту же ссылку на паблик или группу ВК - текст, дата текущего дня, и ссылка(миниатюра+title). Руководство в интернете есть... ...

    Закрыт
    8 лет назад
  • Есть сверстанный лендинг, но у него слайд (экран, как хотите называть) больше экрана компьютера, то есть слишком большой и непрактичный. Требуется доработать

    Завершен
    8 лет назад
  • Требуется программа, которая нажатием одной кнопки открывает порядка 10 сайтов и располагает окна на рабочем столе в заданном порядке, желательно с возможностью пользовательской настройки. Для входов на все сайты используются логины и пароли предварительно вносимые ...

    Завершен
    8 лет назад
  • $700

    На удалённую работу в команду требуется опытный Веб-разработчик. Профессиональные требования: — Знание языков: PHP, Javascript. Умение работать с СУБД MySQL. — Умение работать в паблик фреймворках. Примеры необходимых: ...

    Закрыт
    8 лет назад
  • Приветствую Есть такая задача:  Сделать передачу заявок с сайта на базе Opencart в сервис дропшиппинга rusdropshipping.ru через API Есть документация по API, список параметров, пример кода.  Указывайте стоимость и сроки реализации, ...

    Закрыт
    8 лет назад
  • Есть сайт hoo(убрать)kahcen(убрать)ter.ru Сайт на Joomla + Joomshopping. На Joomshopping установлен плагин, который выводит способ оплаты: Robokassa. В тестовом режиме оплаты при нажатии на "оплатить" сразу редиректит на главную страницу сайта robokassa.ru. ...

    Закрыт
    8 лет назад
  • Есть dle версии 10.2 необходимо: 1. Убрать из новостей ID, урл должен выглядеть для старых новостей и созданных в будущем вот так:  site.ru/o_produkcii/kley-poliuretanovyy.html, сейчас выглядит:  site.ru/o_produkcii/15-kley-poliuretanovyy.html 2. Изменить ...

    Закрыт
    8 лет назад