Многопоточный сканнер веб ресурсов на C (Unix платформа) на наявность установленного движка.
На входе:
кол-во потоков для работы
файл domains.txt - с доменами для сканирования (100k-300k записей)
файл ulrs.txt - с директориями для сканирования (100-200 записей)
подстрока поиска
Алгоритм:
программа начинает сканировать каждый домен на наличие директорий из файла ulrs.txt посредством метода head. при получении ответа 200 ОК, программа загружает страницу(эмулируя юзера - useragent, etc) и проверяет ее содержимое регулярным выражением(возможно проще - поиском по подстроке). если условие выполняется (подстрока найдена) - путь (domain.com/url1/) записывается в positive.log, и скандирование для этого домена прекращается. домены где не были найдены указанные директории, либо не найдена подстрока, записываются в negative.log.
для каждого запроса к удаленному домену, есть тайм-аут Х (устанавливается в конфиге), если У тайм-аутов для указанного домена - домен помещается в negative.log с коментарием (domain.com ; timeout).
все должно быть реализовано на Си как консольная тулза под Linux.
Надо написать программу. Программа подготовки графических файлов должна выполнять полную подготовку входного графического файла из любого стандартного формата (*.bmp; *.jpeg; *.gif; *.pcx; *.tiff) в однослойный точечный рисунок, стандартного формата *.bmp, для последующей ...
Требуется создать приложение под Windows. Суть такая. Имеется флешка, на ней закачано множество файлов электронных книг fb2, в заранее определенной директории. Программа является каталогом для визуализиции и ...
Трансляция видео с экрана пользователя на сервер для просмотра его подключаемыми к серверу пользователями, запись передаваемого видео и аудио на сервере, для дальнейшего просмотра. Приложение ставится на компьютер пользователя который транслирует видео, в настройках программы ...
Нужен программист, который сможет написать кроссплатформенную программу-мессенджер (всё должно работать на Windows, Mac OS, Linux). Будет использоваться один сторонний .NET компонент и один кроссплатформенный компонент. Интерфейс программы и все графические материалы есть. ...
Нужно написать программу, которая бы корректировала тексты в htm/html-файлах из выбранной директории. Под корректировкой подразумевается замена прописной буквы в начеле предложения на заглавную, там где это необходимо. Цена до 10$
Срочно требуется модуль MS Access, под готовый диплом. ДП на тему АРМ специалиста фин. учреждения. Порядок работы: я вам высылаю диплом, вы ознакомляетесь и приступаете к написанию модуля. Как можно скорее ...
Цель: - заблокировать доступ к сайтам из черного списка сотрудникам в рабочее время во вне рабочее время и в перерыв доступ без ограничений Черный список мы должны иметь возможность ...
Программа предназначена для облегчения заполнения уведомлений по иностранным гражданам. Сделать программу АНАЛОГИЧНУЮ программе "Гастарбайтер" http://fms-soft.ru/gastarbaiter.html но с небольшими улучшениями. Программа написана процентов на 30% гдето, исходный текст в приложении. Среда RAD 2010 ...
Дано: - 3-х мерная RGB светодиодная матрица с разрешением 20х20х30 элементов Задача: Разработка ПО для: 1. Управления вышеупомянутой матрицей. Переменные: координаты X-Y-Z и 256 цветов RGB ...
Всем привет, Необходимо сграббить в файл следующие каталоги (организации): Афиша мейл.ру Каталог мейл.ру Каталог яндекс Афиша яндекс Афиша.рус Таймаут.ру ...
