Парсер сайтов и регистрация доменов

Необхідно розробити програмне забезпечення, яке буде парсити сайти (Інтернет-павук) і зберігати у базу даних усі посилання і email які будуть знайдені на сторінках по яких пройшовся Інтернет-павук, потім провіряти термін дії домену і у разі накладення відповідних параметрів реєструвати цей домен.

Пропонована структура бази даних, згідно доданого файлу до цього проекту - FCRD_Database_schema.png

Принцип роботи програмного забезпечення:

Перша фаза:

-----------------

1. Задаємо початкове посилання, із якого буде працювати парсер сайтів (бажано, щоб у програми було панель налаштувань, де можна буде задати певні налаштування);

2. Розроблений парсер у фоновому режимі відкриває цю сторінку, розбирає її на окремі нові посилання, збирає усі нові еmail які є на цій сторінці і зберігає всю цю інформацію у відповідні таблиці бази даних;

3. Наступним кроком є відкриття нового посилання, яке вже було відшукано пасером (він не повинен відкривати тієї сторінки, яку вже відкривав, із пріоритетом відкривати посилання із українських сайтів, якщо є можливіть то посилання із тих доменів на які вже заходили також потрібно пропускати).

Додатково необхідно передбачити налаштування, який максимальний термін може програма відкривати одну сторінку.

Налаштування кількості потоків із якими буде працювати програма та відкрити нові сторінки;

4. У інших потоках повинно відбутись перевірки домену по базі who.is, також провірити який рейтинг сторінки за показниками Google PR та Yandex ТИЦ і цю інформацію зберегти у базі даних.

5. Всі дії повинні відображатись у системі (коротка статистика, скільки зараз доменів у базі, скільки провірено, скільки посилань, скільки провіртено, скільки зібрано email);

6. По результатах роботи програми повинен формуватись реєстр у якому буде відображено перелік доменів, у яких закінчився термін дії реєстрації, і вказання їхніх показників ТИЦ і PR.

Друга фаза:

------------------

7. Біля кожного домену повинен стояти не заповнений чекбок, на який можна клікнути і після натискання на кнопку реєстрації, програма створить запит по АРІ реєстратора доменів для реєстрації відповідних доменів;

8. На зареєстровані email попередніх власників необхідно відправити електронного листа із вказанням інформації про перереєстрацію домену визначеного формату.

Перевага надається розробникам на C#.

Важливе значення має вартість і термін реалізації визначеного завдання.

У разі якщо цікавлять деталі цього технічного завдання, можете додатково поспілкуватись по телефону чи Skype чи електронним спілкування.

Додатково надам документації АРІ (реєстрація домену, інформації із WHO.IS, провірка Google PR, провірка Яндекс ТИЦ)