Требуется разработать парсер данных с сайта без использования API, используя Puppeteer. Парсер должен отправлять данные в WebSocket. Обратите внимание на необходимость минимизации задержек, так как другие инструменты, такие как Selenium, не подходят для этой задачи.
Создание парсера данных
https://docs.google.com/document/d/1srPmpESlkGgTpcUSNdcZacP6LbH6HIz4fKCipqGRDmw/edit?usp=sharing
Скрипт должен использовать прокси для парсинга информации. Прокси мы предоставим.
Скрипт должен работать на VPS от Hetzner CX41 (CPU4Intel RAM16 GB Disk space160 GB Traffic20 TB) держать нагрузку и не падать при парсинге данных, в не зависимости от количества аукционов. Таблица на момент окончания аукционов должна содержать более 98% всех данных (ставках и финальных ставка аукционов, а также вся информация и характеристики лота)
- Парсим все даты аукционов(дата и количество аукционов) https://www.iaai.com/LiveAuctionsCalendar, раз в 20 минут с рендомной прокси и записываем в таблицу auctions_date. Должны быть все актуальные аукционы в таблице
- Парсим список аукционов по датам, по кругу, и парсим всю информацию об аукционах с рендомной прокси auctions_live - https://www.iaai.com/LiveAuctionsCalendar . Раз в 5 минут
- Дальше в день проведения аукциона получаем ссылку на вебсокет для каждого аукциона, который проводится в текущий день. Подключение должно быть с рендомного пользователя, должен использоваться список пользователей и прокси. Слушаем вебсокет постоянно, проходя все подтверждение, если нужно, и записываем все данные о ставках и дополнительную информацию в таблицу auctions_bid_history. Должна быть вся информация. Поля которые точно должны быть (ид лота, ид кто делает ставку, регион откуда делают ставку, ставка)
- Дальше если для лота, больше чем час мы не получаем ставок, мы записываем последнее значение ставки и считаем, что это финальная цена. Записываем в таблицу auctions_bid
- По идентификатору лота мы получаем всю информацию о лоте и записываем в таблицу auctions_lots. Должна быть вся информация о лоте и все характеристики лота, которая есть на аукционе. Мы распарщиваем JSON для каждого ключа свое поле, в которое записываем запись из Json. Ссылки на изображение мы храним в отдельной таблице auctions_lots_photos (с привязкой к лоту), в которую записываем ид лота с таблицы auctions_lots и все ссылки на фотографии.
Скрипт должен работать постоянно в кроне, каждый день, когда есть аукционы https://www.iaai.com/LiveAuctionsCalendar парсить все биды (ставки на аукционе) из этих аукционов с привязкой к лотам и обязательно записывать финальную ставку . При проверке должно быть более 98% всей информации.
Выбранный исполнитель
Заявки фрилансеров
Похожие заказы
- Прикладное ПО5 заявокЗакрыт3 года назад
Требуется разработка CAD системы, возможно создание 2D решения или доработка open-source программного обеспечения. Программа должна включать базу деталей и интерфейс для их соединения. Ожидается постоянная поддержка и доработка приложения в будущем.
Прикладное ПО2 заявкиЗакрыт3 года назадТребуется разработать масштабируемую схему с использованием D3.js. Идеальный кандидат должен иметь опыт в создании визуализаций данных и уметь работать с библиотекой D3.js. Проект включает в себя создание интерактивных элементов и адаптацию под различные размеры экранов.
Прикладное ПОнет заявокЗакрыт3 года назадТребуется разработка скрипта для записи двух человек на подачу документов в визовый центр Польши в любом городе Беларуси. Скрипт должен отслеживать свободные места, появляющиеся по средам, и автоматически заполнять форму для записи.
Прикладное ПО1 заявкаЗакрыт3 года назад- $230
Требуется создать парсер для обработки данных, который будет выполнять автоматизацию задач. Разработка прикладного программного обеспечения должна быть эффективной и надежной.
Прикладное ПОнет заявокЗакрыт3 года назад Требуется перевести индикатор TradingView с Pine Script 4.0 на 5.0, разделить сигналы на BUY/SELL с четким указанием цены, добавить два скользящих для фильтрации сигналов и убрать ненужные сигналы, не отражающиеся в тестере стратегий.
Прикладное ПОнет заявокЗакрыт3 года назадТребуется разработчик для создания нейроинтерфейса, ориентированного на людей с ограниченными возможностями. Необходимо реализовать программу, которая будет считывать нервные импульсы и преобразовывать сигналы мозга в команды для управления инвалидной коляской или планшетом.
Прикладное ПО2 заявкиЗакрыт3 года назадТребуется разработка телеграм-бота для отправки единичных СМС с возможностью выбора имени отправителя. Необходимость в техническом задании уточняется. Приступить к работе нужно сегодня, срок выполнения 1-3 дня.
Прикладное ПО7 заявокЗакрыт3 года назадНеобходимо создать телеграм-бота для отправки единичных писем на электронную почту. Бот должен позволять выбирать любое имя отправителя. Срок выполнения - 1-2 дня, начать нужно сегодня. Предоставление технического задания возможно по запросу.
Прикладное ПО1 заявкаЗакрыт3 года назадНеобходимо разработать нейросеть для ветеринарной клиники, которая будет служить консультантом по вопросам ухода за животными. Требуется создать интерфейс для добавления кластеров правил и натренировать сеть для обеспечения качественных рекомендаций.
Прикладное ПО1 заявкаЗакрыт3 года назад