Сканирование чужого сайта

КОРОТКО: Есть сайт allspo.ru (доступ по паролю: spo42235 / a1216) на котором идет постоянное обновление предложений от туроператоров (СПО). Задача: сканировать эти СПО по заданным критериям и загружать избранные в MySQL.

ПОЛНОЕ ОПИСАНИЕ ТРЕБОВАНИЙ:

1. Нужен раздел для указания ссылок на страницы для автоматического периодического сканирования. Возмость указать периодичность сканирования.

2. Возможность указать ссылку на страницу для сканирования по требованию (отсканировать прямо сейчас).

3. Возможноть создания/редактирования списка операторов чьи СПО с вышеуказанных страниц система должна сканировать. Плюс возможность указать "скидку от Турсам" для каждого из этих туроператоров. Дальше эти скидки испольузются при выводе информации (см. пункт 5).

4. Возможность создания/редактирования списка слов при обнаружении которых в названии СПО система бы данные СПО пропускала при сканировании.

5. Информация о всех отсканированных СПО должна быть помещена в MySQL для последующего ее вывода на примере http://www.tursam.ru/index6.php (раздел "Последние СПО с вылетом из Москвы"). Сами же СПО должны быть скачаны и ссылки на скачанные файлы должны быть указаны. Цветовая гамма и размер таблицы должны быть те же. Каждая страна должна быть ссылкой при нажатии на которую открывались бы все СПО только по этой стране для конкретного города-вылета (результаты разбиты на страницы по 50 СПО на каждой и с возможностью показать по 200 на каждой странице [тот же принцип что и на allspo.ru]).

Возможность вручную добавить СПО в данную таблицу MySQL.

6. При сканиорвании обращать внимание на то, что название СПО на allspo.ru уникальное для каждого СПО. Два СПО с одинаковым названием отсканироваться не должны.

7. Возможность периодического автомаческого удаления всех СПО с указанным возрастом (за основу берется дата выхода СПО). Плюс то же самое, но по требованию вручную.

8. Возможность создания/редактирования списка с названиями СПО, которые бы не удалялись при удалении из пукта 7.

Система allspo.ru предоставляет списки СПО по городам вылета. Все вышеописанное должно вестись для каждого города отдельно. Начать я хочу с Москвы, но в самом ближайшем будущем мне нужно будет проделывать туже самую работу и с другими городами. Поэтому пункты 1,2,4,7 должны быть свои для каждого города. Соответственно в MySQL либо должна быть общая таблица с результами сканирования, включающая в себя поле с городом вылета. Либо для каждого города вылета должна быть своя MySQL таблица с результатами.

На примере http://www.tursam.ru/index6.php должна вестись выборка по СПО по каждому из городов вылета. Например, разделы "Последние СПО с вылетом из Москвы" и "Последние СПО с вылетом из Новосибирска". Все результаты в данных разделах должны быть отсортированы по дате выхода СПО. В то время как на главной странице в каждом из таких разделов будет допустим по 20 СПО, тут же должна быть возможность показать все СПО для данного города вылета (результаты должны быть разбиты на страницы по 50 СПО на каждой с возможностью показать результаты с разбиением на 200 СПО на страницу [тот же принцип что и на allspo.ru]).

Еще раз хочу обратить внимание что доступ ко всей информации и файлам на allspo.ru только по паролю. Возможно, что логин и пароль будут меняться и поэтому целесообразно иметь возможность задавать эти данные через админ панель данного скрипта.

Так же обратите внимание на то что с главной страницы http://www.tursam.ru/index6.php уже запускается один скрипт (CuteNews).