Есть 2 платных модуля XenForo. Необходимо добавить функции в эти модули таким образом, чтобы их работа была взаимосвязано. Подробное описание функций в ЛС
Веб-программирование1 заявка
Закрыт
11 лет назад
Быстрый парсер на python. gevent + redis
$100
Закрыт2 заявки145 просмотровНайдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
нужны скрипты с подробной документацией
1. импорт/экспорт/чистка в редис.
при импорте идет на вход файл со значением на строку (урл, ип)
в редис попадает
хеш от значения строки - key
само значение - value
при экспорте - все значения в stdout
при чистке - очистить все.
2. сам парсер
парсер должен использовать все цпу сервера
конфиг в котором задается
- доступ к редису
- макс количество гринлетов в пуле
- путь до прокси(файл)
задача парсера
на вход парсеру идет файл с оооочень много записей (10-20-50млн)
таймаут 15 сек на отклик.
парсер создает таск который берет урл, проходит по нему и регулярками выдирает все значения по 2 условиям.
далее делает апдейт в базу redis по ключу от текущей строки и пишет что нашел в формате json или ином.
типа
имя регулярки1:значение,значение,значение
имя регулярки2:значение,значение,значение,значение,значение
цель парсера - космическая скорость и максимальная утилизация ресурсов сервера. процов много, ulimit поправлен, памяти много, диски ссд, канал гигабит.
обсуждение тз возможно и приветствуется. мне нужно быстро и много парсить. треды медленно. gevent tornado twisted celery смотрел, приглянулся первый.
пока нужно бюджетное быстрое решение для тестов.
оплата сбер-киви-вмз по факту
оставляйте контакты цены сроки, и я с вами свяжусь
11 лет назад
Заявки фрилансеров
Нет заявок фрилансеров
Похожие заказы
Т.З прикрепил. Версия Битрикса - 12.0.5.
Веб-программирование1 исполнительЗавершен11 лет назадЕсть сайт http://www.medina-krasnodar.ru/ Когда нажимаешь на левое меню например Гипсокартон" и т.д открывается общеие товары, а нужно сделать так чтобы оно не общее открывалось оставался на странице а менюшка просто раскрывалась. Пишите ...
Веб-программирование1 исполнительЗавершен11 лет назадЕсть самописный модуль Opencart, который выводит информацию о клиент в виде почтового конверта в виде версии для печати. То есть там берутся данные из заказа: ФИО, товар, адрес, цена. Чтобы можно было оперативно распечатывать и ...
Веб-программирование1 исполнительЗавершен11 лет назад- $10
Подробнее: http://take.ms/sPfPo страница: http://forexsystems.ru/foreks-konkursy-na-forume/76760-%C2%ABoption-drive%C2%BB-osennii-konkurs-na-binarnyh-opcionah-6.html 10$ первому кто укажет на проблему
Веб-программирование1 исполнительЗавершен11 лет назад - $15
Кто может сделать листалку типа mayola.com.ua чтобы она нормально смотрелась на Андроиде? М.б. какой-то есть какой-то другой похожий вариант. Задача, чтобы картинки-джпешки презентации нормально могли быть ...
Веб-программирование1 заявкаЗакрыт11 лет назад Добрый день, уважаемые фрилансеры. Задача: сделать простой личный кабинет пользователя. В качестве дизайна элементов использовать стандартный дизайн JS UI компонент. Кратко: - три страницы - простейшие элементы (listbox, ...
Веб-программирование5 заявокЗакрыт11 лет назад- $250
Добрый день. Нужно доработать и исправить некоторые вещи на сайте интернет магазин Джумла. Есть тз, в полном объеме вышлю лично, вот некоторые задания: 1.Нужна полноценная карта сайта. 2.Убрать дубль контента. ...
Веб-программирование5 заявокЗакрыт11 лет назад День добрый. Почта Roundcube http://mail.mart.ru/ http://roundcube.net/ Необходимо зашить скины, с возможностью выбора. Документация http://trac.roundcube.net/wiki/Doc_Skins Скины http://www.googie-larry.com/ , http://roundcubeskins.net/portfolio/ Предоплата 30-50% вебмани, киви, ЯД. Спасибо
Веб-программированиенет заявокЗакрыт11 лет назад- $25
Нужен скрипт для сайта - лимит скачивание файлов для зарегистрированных пользователей.
Веб-программирование1 заявкаЗакрыт11 лет назад