Необходимо написать парсер для сбора данных с сайта zarplata.ru на zennoposter

В папке с парсером должна быть инструкция - как его запускать (если вдруг сервер перезагрузится)

Необходимо собирать все вакансии, в которых указан номер телефона работодателя, вакансии без контактов не нужны

Нужно предусмотреть список с id вакансий, которые мы уже собрали, чтобы повторно не собирать вакансии с теми же id. Так мы снизим количество запросов и вероятность блокировки нашего ip

Каждая вакансия, должна быть отправлена вебхуком сразу после того, как мы получили по ней данные. Вебхуки должны отправляться постоянно, перед вебхуком поставить паузу в 2 секунды. Логика такая: спарсили вакансию, пауза 1 секунду, отправили вебхук, спарсили следующую вакансию.

Всего нужно отправить 2 вебхука по каждой вакансии:

Первый

Адрес: https://cloud.roistat.com/integration/webhook?key=a58c86c38a259de63562d533d7c7edf4

Данные:

{"title":"Название вакансии","name":"Имя контакта","email":"email контакта","phone":"телефон контакта","comment":"ссылка на вакансию","roistat_visit":"название сайта (например joblab.ru)","fields":{"site":"название сайта (например joblab.ru)","source":"название сайта (например joblab.ru)","promocode":null}}

Второй

Адрес: https://c6ce863bb1eb.vps.myjino.ru/contacts?apiKey=Wy7RXAzSRZpD4a3q

Данные:

{"source":"название сайта (например joblab.ru)","name": "Имя контакта","email":"email контакта","phone":"телефон контакта","data":"ссылка на вакансию;Имя контакта;email контакта;телефон контакта;Адрес вакансии или город"}

Необходимо, чтобы парсер работал без остановки, собирая новые данные с сайта. Когда он пройдет по всем объявлениям на сайте - необходимо собирать заново. Парсер должен работать круглые сутки и собирать все обновленные данные на сайте.

Также важно, чтобы парсер собирал все данные, не пропуская ни одной страницы с объявлением. Поэтому нужно сделать запросы или регулярные выражения максимально надежными

Чтобы собрать все данные возможно потребуется сгенерировать ссылки на выдачу с различными фильтрами так как по одному фильтру как правило доступно ограниченное количество вакансий. Но нам необходимо, чтобы собирались объявления по всей России, в каждом городе. На текущий момент работает логика, когда в отдельном списке присутствует множество ссылок на поисковые выдачи с различными параметрами, парсер собирает по всем данные, удаляя дубли.

год назад
guest_16855388298861
2 года в сервисе
Была
год назад

Заявки фрилансеров

Александр
 
20 лет
год в сервисе
Был
месяц назад
год назад
  • Похожие заказы

  • Необходимо проверить функционирование чат-бота в Вайбере и привести его в соответствие с техническим заданием. Бот некорректно выводит информацию. Подробности и стоимость обсуждаются в ходе общения.

    Базы данных2 заявки
    Закрыт
    год назад
  • Требуется помощь в онлайн экзамене по анализу данных. Необходимы знания в a/b тестах, мобильной аналитике, programmatic, sql и работе с сырыми данными. Ожидается качественное выполнение заданий и понимание тематики.

    Базы данныхнет заявок
    Закрыт
    год назад
  • Необходимо подготовить отчет по базам данных с выполнением SQL-запросов, включая выборку, обновление, вставку и удаление данных. Оформление отчета должно быть выполнено в формате Word, аналогично предоставленному примеру, но без использования книг.

    Базы данных4 заявки
    Закрыт
    год назад
  • $15

    Необходимо разработать программу на Python с графическим интерфейсом для расчета количества бруса, необходимого для строительства. Программа должна включать поля для ввода данных о здании, кнопку для расчета и сохранения информации в базе данных. Также требуется обработка ошибок ввода и возможность просмотра сохраненных данных.

    Базы данных9 заявок
    Закрыт
    год назад
  • $30

    Требуется разработка сложной таблицы Excel для ведения отчетности по рекламе в соцсетях. Таблица должна состоять из двух листов: первый - учет рекламных роликов, второй - календарь. Важно, чтобы один и тот же рекламный ролик не повторялся в одном паблике, при совпадении графа должна окрашиваться в красный. Подробности в документе.

    Базы данных1 исполнитель
    Завершен
    год назад
  • Необходимо разработать программу или скрипт для Microsoft Word. При вводе данных (ФИО, дата рождения) информация должна автоматически вставляться в определенное место в другом тексте. Ожидается создание удобного и функционального решения, которое упростит процесс обработки данных.

    Базы данных7 заявок
    Закрыт
    год назад
  • $38

    Требуется разработать BackEnd для веб-приложения 'Finance-Tracker' на PHP с использованием базы данных. Необходимо реализовать учет пользователей, добавление и удаление транзакций, суммирование доходов и расходов, а также вывод статистики в виде диаграмм. В наличии уже есть форма аутентификации и Front-End часть. Код должен содержать комментарии для каждой функции.

    Базы данных1 заявка
    Закрыт
    год назад
  • $50

    Требуется разработать базу данных из 7 таблиц для дипломной работы. Нужно проработать структуру таблиц и заполнить их данными из файлов. Таблицы включают информацию о бутылках, машинах, палетах, городах, заказах и доставке. Ожидается предварительная оценка стоимости работы и обсуждение деталей.

    Базы данных10 заявок
    Закрыт
    год назад
  • Требуется оптимизация базы данных самописной CRM, которая замедлила работу со временем. Необходимо ускорить программу, так как предполагается, что долго грузится база данных. Удаленный доступ будет предоставлен для выполнения работы. Срочно.

    Базы данных4 заявки
    Закрыт
    год назад
  • Ищется специалист для работы над студенческим проектом, связанный с обработкой баз данных в SPSS Statistics. Предоставлены Codebook и данные. Итоговый результат должен быть представлен в формате Excel. Оплата обсуждается.

    Базы данныхнет заявок
    Закрыт
    год назад