Проверка урла на пинг, статус, а так же поиск по контенту

  1. Биржа фриланса
  2. Веб-программирование
Закрыт2 заявки102 просмотра

есть база урлов например 20 тыс.

надо сделать проверку каждого урла на пинг, статус, а так же поиск по контенту.

в скрипте должна быть настройка сколько урлов можно проверять в одном потоке.

сколько секунд считать таймаутом.

Алгоритм:

1. берем урл, проверяем статус сервера по урлу, записываем результат ответа, время ответа или таймаут.

2. берем урл, достаем список прокси из нашей базы, проверяем статус прокси сервера по урлу, делаем пинг, записываем результат ответа, время ответа или таймаут (все это и урла и прокси).

3. берем урл и искомые слова из нашей бд для данного урла (у каждого урла свои, должно быть обязательным наличие или отсутствие), делаем запрос, получаем ответ, записываем результат.

скрипты должны отрабатывать все урлы (20 тыс урлов) менее чем за 5 минут - это самый важный параметр, после точности проверки.

на чем писать, не важно, например pynton, самое главное минимальные ресурсы и максимальная скорость ответа и записи в бд.

у скрипта должен быть вебинтерфейс в виде страниц с пагинацией,  на любом шаблоне например бутстрап, с возможностью поиска по полям и сортировкой. также нужна любая авторизация (чтобы скрыть от лишних глаз).

цена и срок?

Bootstrap
7 лет назад
sergtrue
Сергей 
36 лет
9 лет в сервисе
Был
7 лет назад
6 отзывов

Заявки фрилансеров

Нет заявок фрилансеров