Нужно написать несколько скриптов для парсинга объявлений.
Сайт-основа на Laravel, но это не очень принципиально, пойдет и на чистом ПХП.
Краткое описание задачи:
Есть входные значения от пользователя - это ссылка на лист объявлений,
и список полей которые надо парсить в каждом объявлении.
Каждый пользователь сам задает что ему парсить - эта часть уже готова, вашим скриптам приходят уже заданные значения.
Скрипты заточены под парсинг мобильной версии olx.ua.
Скрипты будут запускаться по крону, независимо друг от друга.
Структура таблиц обсуждается.
Краткое описание:
Скрипт 1: Прохожу по листу урлов, выбираю со страницы ссылки на объявления. Проверяю url на наличие в бд, отсутствующие урлы записываю.
Скрипт 2: Прохожу по каждому урлу, получаю контент страницы и номер телефона (в 2 захода, это 2 разные страницы).
Скрипт 3: Захожу в каждую объяву, разбираю ее по запросу, пишу результат в JSON сохраняю в бд.
Подробное ТЗ со структурой таблиц прилагаю здесь (чтоб не засорять страничку):
PS. Скрипт получающий страницу (каждый раз с новым юзерагентом и прокси для обхода защиты) уже есть, и можете это не делать.
Получение страницы вместо file_get_contents( $url ) будет через get_web_page( $url )
Предлагайте сумму и сроки выполнения.
Есть проект на Phytone Dgango morebaikal.ru. Последние 3-4 месяца сайт стал долго загружаться и периодически недоступен. Грешу на то, что программист плохо оптимизировал БД и кэширование. Еще грешу на сервер. Требуется все это ...
Нужна очень простая shopping cart на php + ajax без админки, без красоты, с простым и легким кодом. На странице много разного товара. Под каждым товаром есть кнопка купить. При нажатии на ...
Сделать интернет-магазин на simplacms из вёрстки тз в приложении и скрины вёрстки в приложении бюджет 7000 рублей ВЕРСТАТЬ НЕ НУЖНО, вёрстка готова уже оплата после выполнения работы
Есть у меня сайт на Wordpress. И есть у меня различные youtube каналы. Нужно настроить автопостинг, чтобы при добавлении видео в youtube оно автоматически постилось в соответствующую рубрику блога с переносом следующих элементов: ...
Создание скрипта обновления цен из прайса поставщика по артикулу товара из 1C в Prestashop 1.6.0.14 (только обновление цен, без создания новых товаров).
Нужно доделать движок на PHP 1) На всех страницах одинаковый заголовок 2) ЧПУ сделать, на модули "Статьи" "Файлы" CMS nuked-klan, в рунете не распространен. ...
Требуется программа по накрутке кликов (кликание с разных IP-адресов ) .
Интегрирование в наш Личный кабинет функции автоматической рассылки через сайт pechkin-mail.ru
Имеется сайт на DLE - warforukraine.com. Неободимо немного доработать шаблон (минимальные правки) согласно ТЗ + настроить мобильную версию сайта. Жду Ваших предложений.
Нужен сайт на модиксе специфика - каталог, из функционала лк с добавлением объекта, фильтр поиска по категориям. верстка есть, тз тоже, сроки чем быстрее тем лучше. Цена вопроса обсуждаема. Справитесь в течении максимум 2 недель ...
