Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Проверить наличие sitemap.xml  (файлов sitemap .xml может быть несколько) И вывести список в один столбец все урлы сайта.

Итак, на вхоже любой домен. На выходе все страницы сайта списком.

Пример обычных карт сайта

sitedozor.ru/sitemap.xml

hyperhost.ua/sitemap.xml

Пример карт сайта, состоящих из кусков

foxtrot.com.ua/sitemap.xml

searchengines.guru/dbseositemap.php

Алгоритм простой. Для заданного домена лезем в  robots.xt

и ищем директиву Sitemap: 

если она есть, то это имя карты сайта. Иначе пробуем загрузить стандартное имя домен/sitemap.xml

Если в карте указаны куски как в примере foxtrot.com.ua/sitemap.xml

...

то в цикле проходимся по всем кускам.

На выходе список урлов, которые расположены в директиве

 

    url

...

 

6 лет назад
andrush
40 лет
16 лет в сервисе
Был
год назад

Заявки фрилансеров

Нет заявок фрилансеров