Парсер для сайта на форумном движке xenforo 2.2.x

1.Парсер должен уметь авторизовываться на сайтах донорах, под учетной записью которую я пропишу, для того чтоб мог копировать текст из спойлера который доступен только авторизованным юзерам.

2.Парсер должен парсит только те сайты которые я пропишу.

3.Парсер парсит темы только за тот период за который я пропишу, допусти темы появившиеся только за последний час/день/месяц/год/5 лет/10 лет.

Логика работы парсера: Очевидно наполняя форум полученным контентом, он будет взят с других форумов, значит структура контента будет следующей: разделы, форумы, топики, сообщения, а также профили пользователей, которые могут содержать различную информацию, например: логин, аватар, дату регистрации, количество сообщений, описание. При этом логика работы парсера будет следующей:

  • Первичная настройка парсера на сайт донора, с указанием где и какие данные ему собирать, обучить «пониманию» структуры HTML страниц донора (задача не сложная, например прописать путь в xPath до заголовка страницы H1);
  • Обход главной страницы форума, сбор ссылок на разделы и их названия;
  • Обход разделов, сбор в них ссылок на форумы и их названия;
  • Обход форумов, сбор в них ссылок на топики и их названия;
  • Обход топиков, сбор в них всех сообщений и ссылок на их авторов(на профили пользователей включая аватар);
  • Обход профилей пользователей и сбор всех доступных данных по ним включая аватар;
  • Отдельно происходит сбор ссылок на постраничную навигацию, для последующего сбора информации на других страницах списков форумов и топиков.
3 года назад
Mastifik
Марат 
42 года
3 года в сервисе
Был
3 года назад

Заявки фрилансеров

Платон
 
20 лет
3 года в сервисе
Был
2 года назад
3 года назад
Сергей
 
40 лет
5 лет в сервисе
Был
день назад
1 отзыв
3 года назад
  • Похожие заказы

  • Требуется разработать страницу-калькулятор на Vue.js, перенести логику расчетов из готового Excel. Необходим интуитивно понятный интерфейс, интеграция с другими системами не требуется. Оцените возможность выполнения задачи и стоимость работы.

    Закрыт
    3 года назад
  • Требуется программист для переноса интернет-газеты с версии WP 3.3.2 на 6.0. Необходимо обновить код, исправить устаревший синтаксис, обеспечить адаптивность, настроить каптчу и интегрировать оплату через ю-мани. Также нужен сервис поиска по газете, регистрация через соцсети и возможность создания бегущей строки. Оплата после тестирования.

    Закрыт
    3 года назад
  • $318

    Требуется доработка платформы СРА, которая готова на 90%. Подробное техническое задание и условия указаны в прикрепленном файле. Стоимость будет корректироваться в соответствии с указанной ценой.

    Закрыт
    3 года назад
  • Требуется разработать скрипт на Python для интеграции с Portmone. Необходимо создать функцию, которая генерирует ссылку на оплату, а также реализовать механизм получения уведомления о успешной оплате. Опыт работы с API и веб-программированием обязателен.

    Закрыт
    3 года назад
  • $60

    Требуется исправить функцию определения месторасположения пользователя для веб-сайта на PHP. Необходимо создать решение, аналогичное функционалу на Youla. Учитывайте, что работа возможна только с файлами, без локального сервера.

    Закрыт
    3 года назад
  • Разработайте парсер для сайта поставщика, который будет извлекать код, наименование, цену и остаток товара. Результаты должны быть представлены в виде Excel-файла. Обеспечьте стабильную работу парсера, чтобы он не перегружал сайт.

    Завершен
    3 года назад
  • Требуется добавить модули к сверстанному HTML CSS шаблону сайта. Необходимо реализовать форму обратной связи с проверкой полей и отправкой данных, а также модуль авторизации и регистрации с валидацией. Также нужно создать и подключить базу данных, выводить данные пользователя в личном кабинете. Укажите цену и сроки выполнения.

    Закрыт
    3 года назад
  • Необходимо разработать сайт на WordPress для научного сообщества врачей, включая основную страницу, личный кабинет пользователя и архив событий с возможностью поиска видео. Доступ к страницам должен быть организован через личный кабинет. Используйте материалы от дизайнера. Существующая страница на Tilda служит примером для реализации.

    Закрыт
    3 года назад