Нужен сканер ссылок и построение sitemap.xml

Здравствуйте уважаемые!

Нужен скрипт, который должен запускаться по крону и сканировать внутринние ссылки сайта для построения SiteMap.

Исходя из ссылок полученных с главной страницы заходить по ним и сканировать страницы второго, третьего и т.д. уровня страниц.

Всё это должно записываться в sitemap.xml.

Для yahoo помоему url.txt

Вообщем нужен знающий человек, который сможет организовать подобное.

Устал искать, половина не работает, половина сканирует только главную, часть из второй половины сканирует только первую/главную страницу.

Вообщем нужен программист который это реализует и которого можно найти в любой момент!

Один написал скрипт, мне нужны дополнения а его нет уже пол года.

Думайте, оцениваете, в ЛС не пишите, я сам Вас найду.

Не пишите какой вы хороший и т.д., так все пишут =)

Реально цены и сроки.

Спасибо за внимание!

P.S. На сайте включены ограничения по выполнению сценария 30 сек.

Имейте ввиду при обдумывании сможете ли Вы за это взяться?!

Прошу учесть то, чтоб в скрипте не использовать:

set_time_limit(0);

ini_set('max_execution_time',0);

ini_set('set_time_limit',0);

sleep();

и т.п.

То-есть сканирование должно происходить по шагово с проверкой на законченность сценария, скажем если сценарий оборвался.

Всегда перед сканированием можно проверить на существовании тега - тем чем собственно и заканчивается sitemap.xml

Первый шаг собираем ссылки с главной страницы.

Второй шаг, берем первую ссылку открываем и сканируем по этой ссылке страницу на новые ссылки.

Ссылки не должны совпадать!

Крон можно запускать каждый час или пол часа, поэтому не важно чтоб за один сценарий был собран sitemap.xml

Это для впервые запустившегося скрипта, когда sitemap.xml пустой.

Далее должно быть легче, добавлять туда те ссылки которые не совпадают с уже известными в файле sitemap.xml.

Например сайт с новостями, может быть 800-1500 страниц, проверять на повторы и не добавлять!

Один раз в неделю, сделать возможность устанавливать, очищать sitemap.xml и сканировать заново.

Для того, чтоб выкинуть ссылки которые не актуальны, которых уже нет в помине =)

Либо по вашему виденею, возможно не очищать файл а проверять ссылки на присутсвии на страницах.

Далее скрипт должен находиться в директории, а не в корне сайта, тоесть иметь свою папку.

Папка должна иметь возможность изменяться, чтоб небыло привязки к ней в скрипте (к названию папки), это нужно для того, чтоб небыло совпадений с папками которые уже находятся в корне сайта!

Далее папка скрипта должна быть запаролирована с помощью .htaccess и .htpasswd