Требуеться скрипт на PHP который проиндексирует все ссылки сайта. Я просто введу имя домена а он проиндекс ирует все ссылки на нём.
Проиндексированные ссылки будет записывать в файл имя_домена-ssilki.htm в виде:
---
<a href=/ssilka.html>блабла</a><br>
<a href=/sss/ssilka2.html>блаблаблф</a><br>
и т.д.
---
Как видите в ссылке нет http://domen.ru а сразу начинаеться с /. Это очень важно.
Если я запущу скрипт повторно то он сначала стерёт всё в файле имя_домена-ssilki.htm а потом начнёт заново его заполнять.
Ещё сделайте пароль на файл. Ну тоесть когда я открываю script.php то там пишет введите пароль. я ввожу и если верно то уже открываеться форма для ввода имени домена.

Индексировать он должен так (чтобы в файле имя_домена-ssilki.htm ссылки были в правильном порядке):
если он индексирует ссылку /sss/lala.htm то пройдя по ней на открывшейся странице он индексирует только ссылки вида /sss/xxx.htm , тоесть ссылки из этой же директории. Если он на главной проиндексировал ссылку xxx.htm то соответственно проходит дальше по ней и может индексировать только ссылку xxx.htm? (xxx.htm с параметрами если конечно таковые ссылки имеються). То есть помоему оптимально индексировать так: на главной странице скрипт натыкаеться на ПЕРВУЮ ссылку, индексирует её потом начинает индексировать на открывшейся странице ссылки из этой же директории и так далее уходит вглубь директории и возможно поддиректории, дойдя до конечной страницы этой директории, он опять возвращаеться на главную и начинает индексировать ВТОРУЮ ссылку. и т.д. но это помоему, возможно можно подругому. мне главное чтобы ВСЕ ссылки были проиндексированы и записаны в файл имя_домена-ssilki.htm в правильном порядке.