Язык реализации - C#
1. Универсальный класс для использование прокси.
С заданного УРЛа скачивает подготовленный прокси-лист рабочих проксей (ип:порт;тип\r\n)
Обновление листа - каждые *-** минут (обновление происходит при использовании функции класса для запроса какой-либо страницы)
Основная функция класса - Get - обеспечивает загрузку заданной страницы через один из проксей
Прокси имеют свойство дохнуть в любую секунду, а также тоже могут быть забанены, поэтому необходим контроль:
- успешность самого конекта через прокси с заданным таймаутом (таймаут - член класса, задаётся при инициализации)
- успешность получения именно нужной страницы:
-- проверяется заголовок ответа сервера (не 200 - брак)
-- в функцию (опционально) - передаётся либо 1, либо 2 массива: массив строк, которые должны быть найдены на странице в случае корректной загрузки ("
Аргументы - УРЛ, массив строк 1(опционально), массив строк 2(опционально)
Если по одной из причин попытка получить страницу не удалась - текущему проксику плюсуется параметр количества ошибок, пробуется через другой прокси.
После * ошибок, прокси идёт в локальный блеклист. Число попыток, количество ошибок и _максимально возможное время, которое прокси может быть в блек-листе_ задаётся при инициализации.
Ошибки на уровне прокси (не законектился, не успел закачать страницу, неправильные заголовки ответа) и ошибки на уровне сайта (на основе переданных массивов строк, если они используются) - считаются отдельно. И для них разные лимиты.
2. Парсер архива Лента.ру
Разобрать тут нужно всего пару страниц, так что это просто для элементарного теста многопоточной работы через класс проксей и первого пункта.
Заходим первый день в архиве каждого раздела (http://lenta.ru/sport/2005/02/17/) - парсим список УРЛов на новости в файлик, переходим на следующуюю дату и так для каждого раздела пока не уйдём на страницу "время парсинга - 1день". Информация о текущей дате для парсинга тоже сейвится в файл, дабы можно было продолжать процесс.
Другие потоки смотрят на файл с линками, загребают себе небольшие кучки и отрабатывают (вытаскивается только титл и текст, без "ссылок\сайтов по теме".
Код - вменяемый, откоментированный.
Сроки - минимальные, писать тут особо нечего.
Оплата - по факту или через СБС.
Здравствуйте! игра Netstorm:island of war мне нужен сервер игры.работа в с++.посмотреть что за игра можно здесь netstormhq.com http://vkontakte.ru/id2959800 если не сложно ответьте сюда,т.к. здесь я бываю раз в месяц. заранее благодарю.
Добрый день! Необходимо сделать программу которая измеряет площадь нестандартных объектов. Пример: С зафиксированной камеры делается снимок сверху на стол (например цвет стола салатовый) ...
Есть некоторая программа. exe файл, и набор данных к нему во вложенных папках. Задача сводится к тому, чтобы сделать "инсталляшку" для пользователя, который запустив файл setup.exe или install.exe - получить процесс инсталляции этой программы в ...
Здравствуйте. Необходимо разработать калькулятор расчета стоимости полиграфической продукции, с базами данных.
Требуется программист для осуществления проекта создания прикладного ПО на описанном алгоритме. мыло: scienceofficer@rambler.ru
Здравствуйте Есть потребность в создании онлайн калькулятора стоимости ремонта автомобилей. требуемая цепочка: Юзер видит на сайте список авто (как на auto.ru) выбирает нужную марку, модель и год, далее ...
Требуется написать модуль заказов для 7.7 по типу планирование только более точный. Желательно или Москва или область.
Доброе время суток! требуется человек, имеющий опыт в работе с apache nutch Спасибо!
Клиент-серверное приложение, сервер на UNIX (FreeBSD), база данных mysql/postgresql, большой объем записей и высокая нагрузка на сервер / базу данных. Клиентское ПО с дружественным интерфейсом, изначально для Windows, но в дальнейшем обязательно для Mac OS ...
В срок 4 дня , нужна пилотная версия программы. Нужно сделать программу "автоматизированную систему составления расписания для Вуза". Нужно сделать программу, которая бы автоматически составляла расписание на основе ...
