Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Парсер

Основа - проект на laravel (не ниже 8 версии)

ORM - Doctrine

Используем очереди (laravel-horizon)

Функциональность: Получаем необходимые данные о категориях, товарах и ценах товаров, сохраняем их в бд.

Что делает 1 подход

1.Парсим структуру категорий

2.Проходим по пагинации списка товаров каждой конечной категории (конечная категория - категория не имеющая дочерних категорий)

3.Для каждого из товаров получаем информацию о его названии и цене

Общие положения: В данный момент в качестве ORM используется RedBean (https://redbeanphp.com/index.php), на этапе прототипирования ее можно оставить, но в финале нужно переехать на доктрину, тоесть создать для каждой сущности маппинг и тд.

Диаграмму сущностей дадим.

Файл прокси располагается в /storage/proxy.txt и содержит строки с проксями, каждый прокси имеет форму: 91.11.11.11:56392:hErJUXr5:mNZr4zуу (ip:port:login:pass)

Необходимо создать несколько query-классов, которые будут обеспечивать функционал запросов сущностей.

Используем CQS (желательно): создаем в папке Main папки Command и Query, в первую очередь необходимы классы, которые обеспечат функционал запросов (классы-репозитории) для каждой из сущностей.

Основное хранилище - Postgresql, но можно и MySQL. Oчереди - horizon (redis) Для контейнеров используем laradock, папку с ларадоком кладем не во внутрь проекта, а рядом с ним.

Структура папок:

\App\Application Domain

Services

Command

ItemService.php

Query

ItemRepository.php

Entities

Item.php

\App\Infrastructure

Seeders

Config

Работа с очередями:

Например, когда нам нужно спарсить товары, мы итерируем по каждой из категорий, и для каждой категории создаем таск в очереди, который будет итерировать по пагинации этой категории и парсить товары/цены

Подробности в личке

3 года назад
PartMars
43 года
16 лет в сервисе
Был
16 часов назад

Заявки фрилансеров

Константин
 
34 года
12 лет в сервисе
Был
2 года назад
1 отзыв
3 года назад
Максим
 
48 лет
19 лет в сервисе
Был
9 дней назад
3 года назад
  • Похожие заказы

  • Требуется разработка телеграм бота, который будет копировать сообщения с одного канала на другой. Бот должен функционировать как донор и получать данные для последующей передачи. Подробности будут обсуждены в процессе общения.

    Закрыт
    2 года назад
  • Требуется разработка сайта для размещения HTML-игр с готовой версткой на Bootstrap 5. Основные задачи: вставка HTML-кода игр, парсинг конкурентов, возможность добавления игр в админке, сортировка по разделам, сохранение истории игр, оценка и рекомендации похожих игр. Разработка на PHP 8 с использованием Laravel или Symphony.

    Закрыт
    2 года назад
  • $50

    Необходимо доработать букинг по аренде авто на основе шаблона с системой Woocommerce. Основное задание представлено в видео. Ищем специалиста для постоянного сотрудничества, так как будут мелкие дополнения после выполнения основного задания.

    Закрыт
    3 года назад
  • В команду требуется middle Node.js разработчик для постоянной работы. Основные технологии: Node.js с использованием NestJS, Git, Postgresql и Mongodb. Ожидается загрузка минимум 30 часов в неделю. Оплата каждые 2 недели. Учет рабочего времени через Hubstaff.

    Закрыт
    2 года назад
  • Необходимо создать сайт, используя существующий пример в качестве основы. Задача включает сбор верстки, адаптацию контента и настройку на WordPress. Требуется указать бюджет и сроки выполнения проекта.

    Закрыт
    2 года назад
  • $8

    Необходима функция на PHP для обновления значения post_meta в Wordpress. При сохранении страницы требуется объединить значения из секций left-section, top-section, center-section и right-section и записать их в excluded-posts. Результат должен включать все указанные значения в одном массиве.

    Закрыт
    2 года назад
  • Требуется разработать парсер для Instagram-аккаунтов с возможностью наполнения аккаунтов спарсенными данными. Подробности будут обсуждены с кандидатом.

    Закрыт
    2 года назад
  • Требуется выполнить миграцию самописного сайта с версии PHP 5.4 на PHP 8. Необходимо обновить код, устранить возможные ошибки и оптимизировать производительность. Убедитесь в совместимости всех функций и модулей с новой версией PHP.

    Закрыт
    2 года назад