Необходимо написать парсер сайта Avito.ru через телеграам бота, ВАЖНО, что бы парсинг происходил НЕ через selenium.Так как selenium очень долгий в этом плане. Необходимо использовать самые быстрые методы извлечения информации, это необязательно должна быть эмуляция браузера. Тем ...
Парсинг интернет-магазина. Сайт не простой.
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
Здравствуйте, коллеги. Есть задача по парсингу. Я сам опытный разработчик, но сейчас загружен заказами на 100% и мне нужен помощник на конкретный заказ. Прошу внимательно прочитать текст и не откликаться если это не ваш профиль. Автозаявки проигнорирую.
Есть интернет-магазин для которого я ранее уже писал парсер с веб-интерфейсом (PHP, Laravel) и некоторыми дополнениями. Реализация самого парсинга была банальной: HTTP-запросы через cURL. Сейчас мой клиент захотел расширить функционал и мы уже почти начали, но парсер внезапно перестал работать: сервер не только блокирует некоторые запросы, он также перестал выдавать HTML-код со страницей товара, вместо него выдает страницу с кучей запутанного JavaScript-кода, требуя авторизации. Мой клиент активный пользователь сайта и говорит что незарегистрированные пользователи иногда блокируются после определенного количества просмотра товаров. Вариант с автогенерацией аккаунтов для парсинга не подойдет: регистрация очень замороченная, с подтверждением телефона и почему-то только через мобильное приложение.
ЗАДАЧА
Необходимо написать работающее решение которое позволит извлекать код страницы с товаром по ссылке. Это задача минимум. Далее будет актуален вопрос подмены IP, HTTP-заголовков и всего прочего для массового парсинга, но это я забегаю вперед для более глубокого понимания задачи, пока что актуальна именно та задача, которую описываю в данный момент.
Сейчас нужно просто получить код страницы и сделать это решение совместимым с Laravel, поскольку проект состоит не только лишь из одного парсера (суть в том чтобы заменить неработающий парсер на новый в рамках этого проекта и подключить к текущей системе). Сервер на Linux (не хостинг). Желательно разработать на PHP, но, в принципе, если будет возможность обращаться к вашему решению из Laravel - пишите на чем хотите, хоть на C++, лишь бы работало (но исходники в любом случае предоставьте).
Лично я рассматриваю как один из вариантов браузерную автоматизацию. Смысл: иметь возможность работать со страницами которые рендерятся через JavaScript (очевидно что cURL такой возможности не дает), и в целом имитировать действия реального пользователя, что сложнее осуществить посредством прямой отправки HTTP-запросов.
ТРЕБОВАНИЯ
- на входе URL страницы товара, на выходе HTML-код отрендеренной страницы;
- под Linux, совместимость с Laravel (напрямую, как часть проекта, либо через API);
- опыт в парсинге непростых сайтов;
- предоставление исходников.
УСЛОВИЯ
С финансированием проблем быть не должно (в пределах разумного, конечно же), сроки обсудим. Нацелен на долгосрочное сотрудничество. Напишите в заявке что умеете в плане парсинга и на каких технологиях работаете. Я скину ссылку на сайт в приватной беседе.
Заявки фрилансеров
Похожие заказы
- $80Прикладное ПО1 заявкаЗакрыт4 года назад
Необходимо для проекта подобрать решение для рассылки, используем в данный момент AcyMailing, но может быть есть лучше решение. Также необходима помощь в настройке этого компонента, он на джумле установлен
Прикладное ПО1 заявкаЗакрыт4 года назад- $6
Нужно выполнить следующею лабораторную работу в консольном приложении: Написать программу, реализующую иерархию классов собирателей водорослей (Collector). Собиратели бывают следующих типов: Дельфин (Dolphin) Стартовая скорость не зависит от оплаты ...
Прикладное ПО2 заявкиЗакрыт4 года назад - $50
Привет всем. Я ищу, кто может создать робота для бинарных опционов, который может автоматически торговать на binomo Этот робот должен быть в расширении Chrome или на рабочем столе, который может подключать поток данных ...
Прикладное ПОнет заявокЗакрыт4 года назад Необходимо написать программу на Python, которая решает систему диф.ур. методом Рунге-Кутты 4-ого порядка. Имеется лит-ра (15 страниц), которая описывает данную систему. И пример программы на Pascal ,на котором можно базироваться при выполнении работы. Необходимо реализовать ...
Прикладное ПО2 заявкиЗакрыт4 года назадТранспортные маршруты представлены номерами со списками остановок, заданными в порядке их следования по маршруту. Реализовать алгоритм ре- шения задачи о нахождении маршрутов для пассажира с заданной начальной остановки в заданную конечную. ИМЕЕТСЯ ПРИМЕР
Прикладное ПО1 заявкаЗакрыт4 года назадНужна программа для проверки лайков и комментариев по Хештегам в Инстаграм .В программу я ввожу тег который меня интересует , в день это может быть 2-3 тега одновременно.Программа должна писать отдельно про каждый тег такую ...
Прикладное ПО2 заявкиЗакрыт4 года назадНужен человек для выполнения контрольной работы по Java, 3 задания, нужны со скринами кода и выполненной задачи. Если можете сделать 2 из 3, то тоже пишите! Скриншот с заданиями прикрепил. .........................................................................................
Прикладное ПОнет заявокЗакрыт4 года назадРубрику возможно не ту выбрал, подскажите в лс какая более подходящая. http://joxi.ru/52aa8pDSkxMnB2?d=1 Это список опций к станкам, нужно сделать какую-нибудь опцию в каждой строке, чтобы при выборе этой опции ...
Прикладное ПО6 заявокЗакрыт4 года назадНужно написать две программы на языке Python 1. Решить задачу построения метамодели для ДКА-распознавателя. Любыми известными разработчику способами. Пояснения есть в прикрепленном файле. 2. Требуется представить описание способа определения ...
Прикладное ПОнет заявокЗакрыт4 года назад