https://docs.google.com/document/d/1srPmpESlkGgTpcUSNdcZacP6LbH6HIz4fKCipqGRDmw/edit?usp=sharing

Скрипт должен использовать прокси для парсинга информации. Прокси мы предоставим.

Скрипт должен работать на VPS от Hetzner CX41 (CPU4Intel RAM16 GB Disk space160 GB Traffic20 TB) держать нагрузку и не падать при парсинге данных, в не зависимости от количества аукционов. Таблица на момент окончания аукционов должна содержать более 98% всех данных (ставках и финальных ставка аукционов, а также вся информация и характеристики лота)

  • Парсим все даты аукционов(дата и количество аукционов) https://www.iaai.com/LiveAuctionsCalendar, раз в 20 минут с рендомной прокси и записываем в таблицу auctions_date. Должны быть все актуальные аукционы в таблице
  • Парсим список аукционов по датам, по кругу, и парсим всю информацию об аукционах с рендомной прокси auctions_live - https://www.iaai.com/LiveAuctionsCalendar . Раз в 5 минут
  • Дальше в день проведения аукциона получаем ссылку на вебсокет для каждого аукциона, который проводится в текущий день. Подключение должно быть с рендомного пользователя, должен использоваться список пользователей и прокси. Слушаем вебсокет постоянно, проходя все подтверждение, если нужно, и записываем все данные о ставках и дополнительную информацию в таблицу auctions_bid_history. Должна быть вся информация. Поля которые точно должны быть (ид лота, ид кто делает ставку, регион откуда делают ставку, ставка)
  • Дальше если для лота, больше чем час мы не получаем ставок, мы записываем последнее значение ставки и считаем, что это финальная цена. Записываем в таблицу auctions_bid
  • По идентификатору лота мы получаем всю информацию о лоте и записываем в таблицу auctions_lots. Должна быть вся информация о лоте и все характеристики лота, которая есть на аукционе. Мы распарщиваем JSON для каждого ключа свое поле, в которое записываем запись из Json. Ссылки на изображение мы храним в отдельной таблице auctions_lots_photos (с привязкой к лоту), в которую записываем ид лота с таблицы auctions_lots и все ссылки на фотографии.
Подключаемся к вебсокету и распарщиваем JSON для каждого ключа свое поле, в которое записываем запись из Json. Должна быть вся информация. Поля которые точно должны быть (ид лота, ид кто делает ставку, регион откуда делают ставку, ставка)

Скрипт должен работать постоянно в кроне, каждый день, когда есть аукционы https://www.iaai.com/LiveAuctionsCalendar парсить все биды (ставки на аукционе) из этих аукционов с привязкой к лотам и обязательно записывать финальную ставку . При проверке должно быть более 98% всей информации.

3 года назад
AlexAntonenko
64 года
16 лет в сервисе
Был
2 месяца назад

Выбранный исполнитель

_teamdev
Дмитрий 
36 лет
8 лет в сервисе
Был
год назад
3 года назад
$600
21 день
Escrow

Заявки фрилансеров

_teamdev
Дмитрий 
36 лет
8 лет в сервисе
Был
год назад
3 года назад
  • Похожие заказы

  • Требуется разработать парсер данных с сайта без использования API, используя Puppeteer. Парсер должен отправлять данные в WebSocket. Обратите внимание на необходимость минимизации задержек, так как другие инструменты, такие как Selenium, не подходят для этой задачи.

    Закрыт
    3 года назад
  • Требуется разработка CAD системы, возможно создание 2D решения или доработка open-source программного обеспечения. Программа должна включать базу деталей и интерфейс для их соединения. Ожидается постоянная поддержка и доработка приложения в будущем.

    Закрыт
    3 года назад
  • Требуется разработать масштабируемую схему с использованием D3.js. Идеальный кандидат должен иметь опыт в создании визуализаций данных и уметь работать с библиотекой D3.js. Проект включает в себя создание интерактивных элементов и адаптацию под различные размеры экранов.

    Прикладное ПОнет заявок
    Закрыт
    3 года назад
  • Требуется разработка скрипта для записи двух человек на подачу документов в визовый центр Польши в любом городе Беларуси. Скрипт должен отслеживать свободные места, появляющиеся по средам, и автоматически заполнять форму для записи.

    Закрыт
    3 года назад
  • $230

    Требуется создать парсер для обработки данных, который будет выполнять автоматизацию задач. Разработка прикладного программного обеспечения должна быть эффективной и надежной.

    Прикладное ПОнет заявок
    Закрыт
    3 года назад
  • Требуется перевести индикатор TradingView с Pine Script 4.0 на 5.0, разделить сигналы на BUY/SELL с четким указанием цены, добавить два скользящих для фильтрации сигналов и убрать ненужные сигналы, не отражающиеся в тестере стратегий.

    Прикладное ПОнет заявок
    Закрыт
    3 года назад
  • Требуется разработчик для создания нейроинтерфейса, ориентированного на людей с ограниченными возможностями. Необходимо реализовать программу, которая будет считывать нервные импульсы и преобразовывать сигналы мозга в команды для управления инвалидной коляской или планшетом.

    Закрыт
    3 года назад
  • Требуется разработка телеграм-бота для отправки единичных СМС с возможностью выбора имени отправителя. Необходимость в техническом задании уточняется. Приступить к работе нужно сегодня, срок выполнения 1-3 дня.

    Закрыт
    3 года назад
  • Необходимо создать телеграм-бота для отправки единичных писем на электронную почту. Бот должен позволять выбирать любое имя отправителя. Срок выполнения - 1-2 дня, начать нужно сегодня. Предоставление технического задания возможно по запросу.

    Закрыт
    3 года назад
  • Необходимо разработать нейросеть для ветеринарной клиники, которая будет служить консультантом по вопросам ухода за животными. Требуется создать интерфейс для добавления кластеров правил и натренировать сеть для обеспечения качественных рекомендаций.

    Закрыт
    3 года назад