Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Реализовать на баше crawling(переход, открытие страницы, загрузку) по всем ссылкам в sitemap.xml во вложенных sitemap.xml https://bit.ly/3iQiG5j.

Т.е внутри xml, есть еще несколько xml, нужно получить ссылки со всех вложенных xml созданных yaost seo, а потом перейти по ним, при этом нужно после загрузить 100 файлов удалить загруженное и потом парсить дальше.

С файлами ничего делать не нужно, нужно просто загрузить их (прогреть кеш) и удалить.. ежедневно в 3 часа ночи должен запускаться cron)

Нужно использовать самый популярный user agent

4 года назад
emlax
33 года
7 лет в сервисе
Был
3 года назад

Заявки фрилансеров

Алексей
 
51 год
8 лет в сервисе
Был
4 дня назад
110 отзывов(-1)
4 года назад
ТОП-5
Системное администрирование