Требуется сделать сайт : фото для шапки можно взять с интернета текста дам домен, хостинг готов Бюджет : 25-40 $
Парсер VK на питоне или другом серверном языке
На питоне или другом серверном языке поддерживающим многопоточность (чтобы в случае необходимости в будущем сделать быстро многопоточность) нужно написать скрипт, который используя API ВК (функцию users.get) будет перебирать последовательно всех пользователей ВК, получать информацию о них и сохранять данные в БД. Для того, чтобы не превысить лимит, функцию users.get нужно вызывать не чаще раза в 5 секунд. Функции нужно передавать максимально доступное кол-во параметров – 1000 штук. При ответе «Too many requests per second.» сделать паузу 10 секунд и повторить запрос. Если снова ошибка – ждем 30 секунд.
users.get не требует авторизации, поэтому авторизацию и получение токена делать не нужно, но нужно будет реализовать запросы через прокси (брать их рандомно из файла).
В парсере должна быть реализована поддержка рукапчи в случае если ВК потребует капчу.
Скрипт нужно будет разместить на нашем севере перед сдачей проекта.
При достижении конца списка пользователей (ВК вероятно сообщит об этом) – начать сбор с начала.
Работу скрипта нужно отображаться визуально используя например бутстрап. Нужно показывать следующие статистические данные:
• Сколько профилей уже спарсено
• Сколько профилей записано в БД
• Сколько капч потрачено в текущих сутках и с момента начала работы
• Размер БД в Мб (обновлять после клика по кнопке «Обновить»)
• Скорость парсинга за последнюю минуту и в час
На странице со статистикой должна быть кнопка паузы и запуска работы.
В БД должны попасть только те вк-аккаунты у которых есть инстаграмм-аккаунт в профиле.
В БД должны быть следующие поля:
• Id записи
• Текущая дата
• Пол (1 – женский, 2 – мужской, 0 – неизвестно)
• Дата рождения (только если ВК отдал ее полнотью т.е. в формате 23.11.1981)
• Id страны
• Id города
• Время последнего захода юзера в вк
• Семейное положение
• Интересы
• Логин в инстаграме
Выбранный исполнитель
По этому заказу не оплачена комиссия сервиса!
Заявки фрилансеров
Похожие заказы
- $40Веб-программирование24 заявкиЗакрыт9 лет назад
правки Битрикс – срочно 1500 рублей, можем платить поэтапно, пишите ваш скайп Срок 2-3 часа В качестве гарантий другой аккаунт на этом сервисе с положительными отзывами
Веб-программирование1 заявкаЗакрыт9 лет назадЕсть полностью сделанный «в слоях» макет сайта, который состоит:1) информационные разделы для чтения; 2) разделы–тестеры, на базе плагинов; 3) форум, как для общего чтения, так и для коммуникативного общения ...
Веб-программирование2 заявкиЗакрыт9 лет назад- Веб-программированиенет заявокЗакрыт9 лет назад
Требуется доработать серверную часть веб-портала, а конкретно добавить новые функции для управления. Структура сервера - http://prntscr.com/btli6y сайт разработан при помощи технологий PHP, YII. В отклике напишите вашу стоимость за трудочас работы на этих ...
Веб-программирование5 заявокЗакрыт9 лет назадНа странице http://www.spbseptik.ru/dostupnaya-cena-na-septik-yunilos-astra-vam-ne-za-chem-pereplachivat.html слева есть фильтр, который нужно запрограммировать. В полях фильтра указывается количество, на основе которого по свойствам долны выводится товары из текущего раздела. Предлагайте стоимость и сроки.
Веб-программирование3 заявкиЗакрыт9 лет назад- $400
Всем привет. Есть несколько задач, можно сделать одну из них. Можно сделать все. ЗАДАЧА 1 - 4 тыс рублей Нужно написать веб-регистратор инстаграмм-аккаунтов. - Регистрация через прокси. Сохраняем все ...
Веб-программирование4 заявкиЗакрыт9 лет назад Нужно сделать срочно правки по лендингу, детали в личку. От вас отличное знание JS и HTML. Работа срочная!
Веб-программирование11 заявокЗакрыт9 лет назад