Язык – обязательно Python (нужна нормальная многопоточность + кросс операционность + web)
Урлы по которым надо парсить – содержат в теле страницы iframe, также при парсинге отдаются динамические параметры ("соль" или "seed", пример: "&hash=eHrkNqlN" ) – нужно с этим грамотно работать уметь.
Нужна:
- многопоточность,
- прокси
- смена user-agent
- и если понадобится – то обработка капчи.
Входные данные в скрипт:
- список урлов для парсинга
- Прокси (берутся из файла "proxy.txt").
- user-agent (берутся из файла "user_agent.txt")
Выходные данные (тело страницы) сохраняются в SQLite базу данных. Ее формат (всего два столбца):
- id(auto increment)
- result_data (данные которые мы получили в ответе)
Настройки:
- диапазон для рандомной задержки каждого потока (от и до). например от 5 до 15 сек.
- количество одновременных потоков
- что использовать: прокси ИЛИ основной IP.
Желательно применять в разработке docs.python-requests.org/... и его расширение grequests для многопоточности, НО конечное решение что использовать – за Вами.
Итак, сколько понадобится для данного задания денег и сколько это займет по времени?
P.S. после выполнения этого задания нужно будет сделать html-интерфейс. Под это будет отдельное ТЗ и оплата. Поэтому ищу человека, кто в состоянии КАЧЕСТВЕННО (!) сделать первый этап. А если сможет потом и второй этап – будет очень хорошо.
Пишите стоимость и срок. Я выберу.
Есть кусок кода в шоп-скрипте. В нем перебираются товары в корзине, суммируется вес товаров в переменную $products_c и затем эта переменная передается в функцию расчета ст-ти доставки GetShippingPostCost: $products_c = 0; foreach($cartContent["cart_content"] ...
Простой магазин на ДЛЕ. Система оплаты - Робокаса. Дизайн есть. Пришлю в предложениях. Основные страницы: - Главная - Страница товара - Оплата
Есть БД на Neo4J со всеми отношениями. Надо человек который напишет Cypher запрос для построения оптимального пути от А до Б (по алгоритму Дейкстры)
Починить RSS в модуле статьи на shop-script http://abl-mebel.ru/articles/ без заголовка парсятся по rss http://planalli.livejournal.com/ подсказали мне что в нет тега с ...
Необходимо сделать рейтинг герметиков (герметики для дерева и герметики для бетона): 1. Должен содержать несколько подразделов рейтинга (герметики для дерева и герметики для бетона). 2. Должна быть возможность у ...
Добрый день. На движке Vamshop v1.73 нужно сделать функцию увеличения и уменьшения количества товаров на разных страницах. То-есть Плюс-минус вот такой take.ms/fVicH Поле ввода количества товара с кнопками + – , ...
Собственно сабж. Нужна выгрузка, которую можно будет формировать по св-ву. В данном случае есть св-во "BRAND", у него есть несколько значений. Нужно чтобы выбрав значения св-ва выводились только те товары, которые этим ...
Есть ТЗ на панель управления VPN серверами, надо выполнить, за 4 дня. Бюджет 100$. Без предоплат. Сделал пару пунктов, показал, я оплатил. А так ...
Необходимо на сайте: http://uralprompostavka.ru/ в слайдере поправить: проблема слайдера в заголовке в три ряда - можно прибить цену и кнопку к низу http://savepic.ru/5832140.png картинку тоже можно ...
