подробнее тут https://docs.google.com/document/d/1iBOmXZ00-JlrufTUroW2askU4l1xmtSoQ7igGdqOzhg/edit?usp=sharing
Парсинг, py3, gevent, requests: 6-8 сайтов до 2017-03-26
Нужна помощь в разработке парсеров на 6-8 сайтов до конца следующей недели (2017-03-26).
Задача: будет предоставлен API в соответствии с которым нужно разработать по одному Python модулю на один сайт. Так же будет предоставлена рыба фреймворка в виде пакета Python, а разрабатываемые модули буду частью этого пакета. Сам “фреймворк” также может подвергаться изменениям без нарушения совместимости.
Так же нужно учитывать, что разработка будет вестись одновременно несколькими разработчиками с объединением кода в будущем, поэтому сильное отклонение от заданных начальных ограничений не приветствуется. Выбор сторонних зависимостей должен заранее согласовываться. Код будет приниматься в виде sdist.
Собирать нужно следующие данные о заданных в виде прямых ссылок товаров с интернет магазинов: цена, стоимость доставки, наличие на складе, все отзывы (тексты, рейтинги, pros/cons и т.д.). Сайты будут европейские и американские.
Модули будут разрабатываться в рамках пакета и исполняться как сервер. Взаимодействие потребителя с этим сервером будет происходить через execnet. Никаких планировщиков и никакого кеша не предусмотрено: запрос-ответ. В случае с ревью запрос может быть на полный сбор или только для последних (ревью могут исчисляться тысячами).
Разработка ведётся под Python 3 (3.4/3.5).
Другие значимые зависимости: gevent, requests и lxml.
Какие-либо сторонние фреймворки не используются.
Выход в интернеты будет осуществляться через предоставляемый список прокси + спец. заголовки для этих прокси (внешние IP). Ротация точек выхода, задержки между запросами и работа с кукисами на вас, активные блокировки встречаются в каждом пятом случае.
По итогам этого короткого марафона может быть предложено постоянное сотрудничество, нужно будет привести в порядок эти и ещё около 30 разношёрстных парсеров (одни на Twisted, другие на Mechanize) и поддерживать их.
Детали (рыба пакета, API для реализации и пр.) после начала работы.
Цена вопроса: 50$ за сайт.
Заявки фрилансеров
Похожие заказы
- Веб-программирование1 заявкаЗакрыт8 лет назад
Интересует перенос сайта на новый сервер. Сайт на kohana (первой версии) У нас возникает ошибка: Kohana_Exception [ 0 ]: The requested route does not exist: error ~ SYSPATH/classes/kohana/route.php [ ...
Веб-программирование1 исполнительЗавершен8 лет назадСредства разработки: PHP или Java Нужен исполнитель, готовый работать по графику разработки с выдерживанием разумных сроков. Минимальный трудообъем в месяц от 30 часов. При достижении принципиальной договоренности, для кандидатов ...
Веб-программирование8 заявокЗакрыт8 лет назад- $10
Модуль, плагин обратный звонок для joomla 2.5
Веб-программирование2 заявкиЗакрыт8 лет назад Здравствуйте! Необходимо подключить сторонний парсер marketplace.1c-bitrix.ru/... для сайта: take.ms/nQgdL и настроить парсинг с одного из сайтов-доноров: www.satvision-cctv.ru или tdmb.ru в конечном итоге нужно будет парсить с обоих. Задача по парсингу: раз в неделю обновлять базу и поддерживать ...
Веб-программирование4 заявкиЗакрыт8 лет назадПривести в соответствие стили css внутренних страниц http://new.dinamika-fitclub.ru/%d0%be-%d0%bd%d0%b0%d1%81/%d1%86%d0%b5%d0%bb%d0%b8-%d0%b7%d0%b0%d0%b4%d0%b0%d1%87%d0%b8 стилю главной старницы http://new.dinamika-fitclub.ru/ Всего около 10 страниц Пожалуйста, указывайте стоимость в ответе на заказ
Веб-программирование4 заявкиЗакрыт8 лет назадТребуется нести правки в шаблон на Joomla. Правок небольшое количество, по большей части просто удалять или менять местами блоки. От вас желательно наличие портфолио или списка выполненных работ. Исходники я вышлю, вы делаете работу ...
Веб-программирование3 заявкиЗакрыт8 лет назадДопилить сайт юридической конторы. Шаблон залит, добавить тексты, привести в божеский вид. www.targetconsult.ru
Веб-программирование6 заявокЗакрыт8 лет назадДобрый день, необходимо подключить новую почту к магазину при выборе перевозчика, другими словами когда оформляешь доставку чтоб можно было выбрать город и соответственно отделение новой почты Магазин работает на Joomla 3.4.8+Joomshopping 4.12.2 Пример оформления ...
Веб-программирование3 заявкиЗакрыт8 лет назадВсем привет. Необходимо выполнить правки по сайту glamuriki.com.ua. Проект сделан на Сodeigniter Framework. Будем рады поработать с толковым специалистом)
Веб-программирование2 заявкиЗакрыт8 лет назад