Добрый день, уважаемые коллеги! В команду требуется программист с уверенным знанием фреймворка Yii. Работа удаленная. В предложениях указывайте: - опыт работы с Yii; - страна, город; ...
Веб-программирование3 заявки
Закрыт
12 лет назад
Парсер
$800
Закрыт1 заявка85 просмотровНайдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
Общее описание.
Система предназначена для сканирования сайтов и поиска по тексту страниц. Расчетное количество сайтов в индексе - до 1 млн.
Административный интерфейс.
Поиск
Сайты
Статистика
Настройки
Парсер
Дополнительные страницы
Пользователи
Поиск.
Список запросов и результатов по ним.
Панель: добавить.
Фильтр: текст, статус.
Колонки: текст, дата-время запуска, дата время окончания обработки, количество результатов, страниц обработано, "перезапустить", "редактировать", "удалить".
Групповые операции: перезапустить, удалить.
Сайты
Список сайтов для индексации.
Панель: добавить, добавить пакетно.
Фильтр: УРЛ, статус, ошибка
Колонки: ID, УРЛ, внутренние страницы, дата-время обработки, статус, "перезапустить", "просмотр", "удалить"
Групповые операции: перезапустить, удалить.
Статистика
Статистика работы парсера:
Длина очереди, скорость обработки (последние 10 минут), статус парсеров (количество потоков).
Настройки
Парсер
Количество потоков
Макс очередь
Мин очередь
Размер порции пополнения очереди
Дополнительные страницы
Список признаков страниц для выбора дополнительных (регулярные выражения)
Пользователи
Список пользователей админки
Описание работы
Скрипт с заданной периодичностью сканирует указанные урл сайтов (главные страницы) + при первом заходе (или ошибке получения ранее выбранной) выбирает все ссылки с главной старницы, проверяет их на принадлежность шаблонов заданных в настройках, первую подходящую так же скачивает.
После сканирования исходный код страницы укладывается в индекс по которому осуществляется поиск по регулярному выражению в фоновом режиме. Результат поиска список страниц/сайто где найдена подходящая регулярка.
Парсер работает в многопоточном режиме и умеет обрабатывать ХТТП редиректы и ошибки.
Технические характеристики.
Обработка со скоростью от 10 страниц в секунду.
Установка на выделенный сервер.
12 лет назад
Выбранный исполнитель
12 лет назад
$800
21 день
Заявки фрилансеров
12 лет назад
Похожие заказы
Ищу специалиста по ShopCMS 1. Нужно добавить на сайт модуль экспорта товара в формате Яндекс-маркет. 2. Нужно изменить вид и расположение кнопок дополнительных сервисов «Помощь онлайн», «Фильтр товаров». Сайт ...
Веб-программирование1 заявкаЗакрыт12 лет назадНеобходимо разработать движок рекламной площадки под Mixmarket.biz. Дизайн есть. CMS должна работать под большими нагрузками (во время обновления контента, ежедневно обновляются несколько миллионов товаров). Можно использовать уже существующие движки, но дорабатывать их до моих требований. ...
Веб-программирование1 заявкаЗакрыт12 лет назадЕсть форма обратной связи на сайте (в приложении файлы); надо в неё вставить возможность отправки экселевского файла (xls) т.н. бланк заявки от вас цена
Веб-программирование1 исполнительЗавершен12 лет назад- $100
Имеется магазин на битрикс, из 1С регулярно выгружают номенклатуру на фтп после чего по крону производится ее импорт на сайт. Удаленные из номенклатуры позиции продолжают оставаться на сайте – это описание проблемы. У кого есть ...
Веб-программирование3 заявкиЗакрыт12 лет назад Требуется написать движок для веб проекта. Движок должен позволять работать как веб версии так и мобильной версии сайта. То есть пользователи будут как с дестопов так и с мобильных устройств. Подробней с требованиями проекта можно ...
Веб-программирование1 заявкаЗакрыт12 лет назадИ так надо на базе уже имеющегося скрипта поиска песен переделать на новую основу. То есть организовать поиск музыки через вконтакте API. Так же на сайте есть жанры и надо будет по API присвоить жанры. ...
Веб-программирование3 заявкиЗакрыт12 лет назадНеобходимо поправить скрипт отправки сообщения с сайта. Вот сама страница: http://rakuena.com.ua/sm/index.html После ввдения контактов, надо: 1. Писалось спасибо за регистрацию 2. Попадало на почту администратора. ...
Веб-программирование1 исполнительЗавершен12 лет назадсоздать скрипты общения с клиентом Тематика - ветеринарный центр, опыт работы обязателен. Примеры тоже. Прием звонков, запись в клинику или прием заявок для выезда врача. Пишите сроки, опыт и цену
Веб-программирование8 заявокЗакрыт12 лет назад