https://docs.google.com/document/d/1srPmpESlkGgTpcUSNdcZacP6LbH6HIz4fKCipqGRDmw/edit?usp=sharing

Скрипт должен использовать прокси для парсинга информации. Прокси мы предоставим.

Скрипт должен работать на VPS от Hetzner CX41 (CPU4Intel RAM16 GB Disk space160 GB Traffic20 TB) держать нагрузку и не падать при парсинге данных, в не зависимости от количества аукционов. Таблица на момент окончания аукционов должна содержать более 98% всех данных (ставках и финальных ставка аукционов, а также вся информация и характеристики лота)

  • Парсим все даты аукционов(дата и количество аукционов) https://www.iaai.com/LiveAuctionsCalendar, раз в 20 минут с рендомной прокси и записываем в таблицу auctions_date. Должны быть все актуальные аукционы в таблице
  • Парсим  список аукционов по датам, по кругу, и парсим всю информацию об аукционах с рендомной прокси auctions_live - https://www.iaai.com/LiveAuctionsCalendar . Раз в 5 минут
  • Дальше в день проведения аукциона получаем ссылку на вебсокет для каждого аукциона, который проводится в текущий день. Подключение должно быть с рендомного пользователя, должен использоваться список пользователей и прокси. Слушаем вебсокет постоянно, проходя все подтверждение, если нужно, и записываем все данные о ставках и дополнительную информацию в таблицу auctions_bid_history. Должна быть вся информация. Поля которые точно должны быть (ид лота, ид кто делает ставку, регион откуда делают ставку, ставка)
  • Дальше если для лота, больше чем час мы не получаем ставок, мы записываем последнее значение ставки и считаем, что это финальная цена. Записываем в таблицу auctions_bid
  • По идентификатору лота мы получаем всю информацию о лоте и записываем в таблицу auctions_lots. Должна быть вся информация о лоте и все характеристики лота, которая есть на аукционе. Мы распарщиваем JSON для каждого ключа свое поле, в которое записываем запись из Json. Ссылки на изображение мы храним в отдельной таблице auctions_lots_photos (с привязкой к лоту), в которую записываем ид лота с таблицы auctions_lots и все ссылки на фотографии.
Подключаемся к вебсокету и распарщиваем JSON для каждого ключа свое поле, в которое записываем запись из Json. Должна быть вся информация. Поля которые точно должны быть (ид лота, ид кто делает ставку, регион откуда делают ставку, ставка)

Скрипт должен работать постоянно в кроне, каждый день, когда есть аукционы https://www.iaai.com/LiveAuctionsCalendar парсить все биды (ставки на аукционе) из этих аукционов с привязкой к лотам и обязательно записывать финальную ставку . При проверке должно быть более 98% всей информации.

3 года назад
AlexAntonenko
64 года
16 лет в сервисе
Был
2 месяца назад

Заявки фрилансеров

Дмитрий
 
36 лет
8 лет в сервисе
Был
год назад
15 отзывов(-3)
3 года назад
  • Похожие заказы

  • Требуется разработка приложения, которое будет получать данные о матчах Dota2 в реальном времени через game-coordinator. Выберите библиотеку на nodeJS, Python или Golang, разверните её и создайте REST API для получения данных. Все доступы для тестирования будут предоставлены.

    Закрыт
    3 года назад
  • Требуется разработать скрипт на PHP, который будет автоматически заносить расходы мастеров товарных компаний в систему ройстат. Скрипт должен настраивать и обновлять пользовательские показатели для удобного анализа данных.

    Закрыт
    3 года назад
  • Требуются доработки в системе bigbluebutton. Необходимо убрать тесты звука при старте, упростить подключение камеры, убрать кнопку свернуть презентацию и обеспечить возможность ведущему выключать камеры. Настройки видео должны быть изменены по умолчанию, включая отключение разделения видео для всех пользователей. Бюджет обсуждаемый.

    Закрыт
    3 года назад
  • Требуется разработчик для создания блоков на сайте на Wordpress. Задачи не связаны с админкой. Ожидается долгосрочное сотрудничество. Пожалуйста, оцените стоимость и сроки выполнения по предоставленному техническому заданию.

    Закрыт
    3 года назад
  • Необходимо исправить верстку старого сайта с новым дизайном, подключив header и footer на двух страницах, а также вывести анонсы блога на главной странице. Требуется добавить микроразметку и подключить ЦМС для вывода записей блога и законов. Исполнитель должен обладать навыками php, html, css и js, а также предоставить примеры выполненных проектов.

    Закрыт
    3 года назад
  • Требуется разработать Python-код для выкладки коллекции из 7777 NFT на платформе OpenSea. Используйте видеоинструкцию как основу для реализации. Задача включает в себя автоматизацию процесса размещения и актуализацию коллекции.

    Закрыт
    3 года назад
  • Требуется доработка кода формы обратной связи на сайте с фреймворком Yuii для отправки уведомлений в Telegram после отправки данных. Необходимо интегрировать скрипт, предоставленный заказчиком, и обеспечить сохранение данных в БД. После завершения работы потребуются пути к изменённым файлам и комментарии к новому коду.

    Закрыт
    3 года назад
  • $6

    Необходимо установить расширение в браузер, управляемый с помощью Python Selenium. Ожидается пошаговое руководство с демонстрацией процесса, чтобы заказчик смог самостоятельно установить плагин. Возможны различные форматы представления, включая видео.

    Закрыт
    3 года назад
  • Необходимо разработать скрипт для передачи цели в Яндекс Метрику через GET запрос. Скрипт должен использовать метод reachGoal, вызывая его из чат-бота. Важно настроить связь между чат-ботом и страницей со скриптом, чтобы передавать _ym_uid пользователя. Функционал вызова GET-запроса будет реализован отдельно.

    Закрыт
    3 года назад