Для формирования БД стримеров на сайте, необходима система регулярного парсинга YouTube и Twitch каналов

На входе файл со списком url каналов

На выходе:

- Данные по каналам в csv & xls

- Данные по видео в xls & mysql

API YouTube НЕ используем!

Для успешного парсинга можем использовать прокси. Список доступных прокси берем из локального config-файла

Парсер д.б на отдельном хостинге, что бы в случае проблем с хостингом не лег основной сайт.

Детальное ТЗ во вложении

Что мне необходимо и входит в пакет от исполнителя

  • Проработать нюансы реализации. Это примерное описание – я не профи в парсинге и полагаюсь на опыт исполнителя
  • Разработать систему и запустить ее на сервере
  • Инструкция по установке системы на новый сервер и необходимые требования к серверу и окружению
  • Помощь в выборе ВПС, ктр не будут блочить за это
  • Совет по прокси – где брать, сколько, как чекать, что прокси умерли (можно и в скрипт такую опцию добавить
  • Система предоставляется с открытым исходным кодом (без обфусикации и т.п.)
При ответе прошу обозначить

  • Срок?
  • Стоимость? Форматы оплаты
  • Срок гарантийной поддержки, если что пойдет не так
  • Что от меня потребуется?
4 года назад
ZavMax
Иван 
42 года
12 лет в сервисе
Был
3 года назад

Заявки фрилансеров

Максим
 
48 лет
19 лет в сервисе
Был
22 дня назад
4 года назад
Никита
 
24 года
5 лет в сервисе
Был
год назад
5 отзывов
4 года назад
Кирилл
 
22 года
4 года в сервисе
Был
3 года назад
4 года назад
  • Похожие заказы

  • Необходимо разработать парсер для автоматического добавления фотографий и описаний игр из онлайн-магазинов (Playstation, Nintendo, Steam, Google Play, Apple App Store) в каталог на сайте на WordPress. Если игра уже существует, требуется добавление ссылки на магазин. Возможность взять в работу отдельные парсеры приветствуется.

    Прикладное ПОнет заявок
    Закрыт
    3 года назад
  • Ищется программист на GO для доработки программы Mattermost. Задача заключается в добавлении кода для микрофона в существующую систему. Ознакомьтесь с исходниками на GitHub. Цена договорная, все детали будут обсуждены позже.

    Прикладное ПОнет заявок
    Закрыт
    3 года назад
  • Требуется разработать программу-эмулятор для игры War Robots, которая позволит играть без использования ключей. Необходимо создать прикладное ПО, обеспечивающее стабильную работу игры.

    Прикладное ПОнет заявок
    Закрыт
    3 года назад
  • Требуется разработка расширения для Word и Мой Офис, которое будет обрабатывать текст документа через внешний web-сервис. Расширение должно отправлять текст и реквизиты доступа на сервис, получать обработанный текст и заменять им исходный. Подробные требования и документация доступны по запросу.

    Закрыт
    3 года назад
  • $50

    Требуется разработка программного обеспечения для автоматической рассылки сообщений в личные сообщения VK и Instagram из выбранных сообществ. Программа должна менять пользователей каждые 20 сообщений и обеспечивать кликабельность ссылок в тексте. Срок выполнения — до понедельника.

    Прикладное ПОнет заявок
    Закрыт
    3 года назад
  • Требуется улучшить распознавание адресов в парсере, который обрабатывает сообщения из Whatsapp и Telegram для приложения аренды строительной техники. Имеются примеры плохо распознанных адресов. Полный код парсера будет предоставлен выбранному исполнителю.

    Закрыт
    4 года назад
  • $180

    Требуется разработать инструмент, который будет парсить цены с IHerb по списку артикулов из ЛК Ozon, применять указанные модификаторы (+% и +₽) и вносить обновленные данные в ЛК Ozon. Подробное техническое задание доступно по ссылке.

    Закрыт
    3 года назад
  • Требуется разработать макрос для анализа нерабочих гиперссылок в документах Excel или PDF. Макрос должен быстро выявлять пустые гиперссылки в больших документах, где ссылки могут слетать из-за редактирования. Внимание к подробностям и функциональности обязательно.

    Прикладное ПО1 исполнитель
    Завершен
    3 года назад