Программа парсинга сайтов и агрегации информации

Программа парсинга сайтов и агрегации полученной информации с возможностью отправки информации на сайты

Общие положения

1. Программа должна строиться на основе единого конфигурируемого «движка», который позволяет получать единообразный доступ к различным сайтам одинаковой тематики с помощью единого механизма. Доступ, парсинг и заполнение форм каждого отдельного сайта должны настраиваться при помощи конфигурационных XML-файлов.

2. Доступ к сайтам осуществляется при помощи логина и пароля, которые хранятся в БД и вводятся пользователем. Доступ к большинству сайтов осуществляется через https протокол. Некоторые сайты имеют XML-RPC API, но на это особо не стоит расчитывать.

3. Все коммуникации с файлами и сайтами должны выполняться в фоновом режиме и абсолютно прозрачно для пользователя.

Технические требования к разработке

Разработка ведется на любом языке/фреймворке на выбор исполнителя, с учетом следующих требований:

1. Во время разработки код находится в SVN репозитории на моем сервере

2. Программа должна работать под MS Windows XP SP3 без установки дополнительных фреймворков и окружений. Или же их размер не должен превышать нескольких мегабайт, а сами они должны быть легко включены в дистрибутив

3. Программа должна использовать бесплатную легкую и производительную БД. Установка БД должна происходить прозрачно для пользователя вместе с установочным пакетом. БД не должна тербовать от пользователя навыков администрирования и т.п.

4. Программа должна уметь работать через прокси

5. Программа должна уметь работать по протоколам (S)HTTP и (S)FTP

6. Возможности по разработке пользовательского интерфейса должны быть достаточно гибкими.

Этапы разработки

Вся разработка делится на несколько этапов. Этапы реализуются в следующем порядке:

1. Создание конфигурируемого «движка» для импорта и агрегации информации в БД.

2. Создание функционала по загрузке и отправке данных на сайты.

3. Создание пользовательского интерфейса. Работа с файлами, отображение информации.

=======================================================================

Детальное ТЗ вышлю по запросу. От вас нужен опыт в подобного рода разработках. Т.е. парсинг информации на сайтах, отправка данных на сайт, владение БД и т.д.

Мне была бы интересна реализация на Delphi 2010 + Indy + OpenSSL, приоритет будет отдаваться таким заявкам при прочих равных.