Добрый день Надо спарсить все позиции товара с сайта: http://nebo.ru/diamonds + сделать 1в1 такой же калькулятор по этому товару И добавить в бд движка Presta shop ...
Разработать API для выбора и использования прокси сервера.
Цель: разработать API с помощью которых можно автоматически выбирать и использовать прокси сервер основываясь на географическом расположении.
Описание задачи:
API будет использовать сторонний сервер для нахождения нужного прокси сервера.
Сервис называется ProxyRental.
Пример использования этого сервера я прикрепил.
API будет иметь один интерфейс geo_request
Входные данные:
country
state
city
url (HTTP или HTTPS URL который должен быть обработан)
request_method (GET, PUT, POST, и т.д.)
headers (массив HTTP хедеров)
body (данные для HTTP body [опционально])
Выдача:
geo_ip (IP прокси сервера что будет использоваться)
geo_country (страна в которой этот прокси находится)
geo_city (город в котором этот прокси находится)
status (HTTP код)
body (response body URL’а загруженный через прокси)
Для выбранного кандидата я предоставлю доступ к аккаунту ProxyRental
Предпочтительно построить API на node.js, но PHP версия тоже подойдет
Дополнительное требование:
ProxyRental позволяет только один одновременный запрос.
Они возвращают ошибку если делать несколько запросов одновременно.
Чтобы этого избежать есть 2 варианта:
Использовать решение вроде Firebase или Azure Storage Queue для обработки всех запросов к API. Своего рода создание очереди
Добавить еще один интерфейс к API, который не будет принимать URL для загрузки а только находить подходящий прокси сервер и возвращать данные сессии для использования. Эту сессию клиент может использовать для загрузки URL через прокси без использования ProxyRental. По окончании работы клиент может закрыть сессию
С ответом присылайте пожалуйста:
1. На чем сможете реализовать node.js или PHP
2. Какой из 2х вариантов обхода лимита на 1 запрос вы будете использовать: Firebase/Azure Storage Queue или дополнительные интерфейсы и сессии
3. Примерные стоимость и сроки
4. Работаю только через БС - подтвердите что это вас устраивает.
Спасибо!
Заявки фрилансеров
Похожие заказы
- $100Веб-программирование1 исполнительЗавершен8 лет назад
Нужна возможность создавать временные ссылки на файлы. Менеджер по запросу от клиента создает ссылку на файл и по этой ссылке файл можно скачать в течение нескольких часов. По истечению этого времени файл должен быть недоступен.
Веб-программирование1 исполнительЗавершен9 лет назадСейчас стоит задача создать отдельный файл для яндекс вебмастера для корректного отображения сниппетов. Файл Маркета сейчас используется только для 160-200 товаров из более 2000, поэтому возникла необходимость создать новый функционал в админке arwshop.ru. Принцип работы ...
Веб-программированиенет заявокЗакрыт9 лет назадВыгрузка заказов из 1С-Битрикс происходит каждый раз с ID номер 1 и по последний принятый. Накопилось уже много заказов и это стала проблемой. Знаю что можно грузить только те, которые не были выгружены в 1С, но ...
Веб-программирование2 заявкиЗакрыт9 лет назадВ djclassifieds загнали категории, перевели их в FaLang после этого сайт долго загружается. Задача оптимизировать FaLang, чтоб сайт загружался побыстрей.
Веб-программированиенет заявокЗакрыт9 лет назадЗдравствуйте! Необходимо спарсить информацию из каждой товарной карточки. Урл должен содержать http://ru.bodybuilding.com/store/. Результат необходимо выдать в виде таблицы excel, где в столбцах будет указаны: Виды категорий товара (их будет несколько, на примере из скриншота ...
Веб-программирование1 исполнительЗавершен9 лет назадТребуется миграция сайта с самописа на шаблон WordPress (написать парсер и перенести). Может у вас будут другие предложения. Подробности в скайпе или в личке.
Веб-программирование6 заявокЗакрыт9 лет назадТребуется обновить дизайн сайта (сайт на Wordpress). Дизайн уже есть и сверстан. Требуется натяжка новой верстки.
Веб-программирование1 исполнительЗавершен8 лет назад