Требуется написать универсальный индексатор сайтов на языке python
На входе:
Список url из текстового файла.
На выходе:
siteName – адрес сайта
pageName – адрес страницы
title – тайтл страницы
pageCount – уровень вложенности страницы (глубина страницы)
CSV файл:
siteName;pageName;title;pageCount
http://site.com;/; Главная страница; 1 (уровень вложенности)
http://site.com;/page1.html; Страница 1; 2(уровень вложенности)
Примечание:
Должен работать с различными видами путей:
Относительный: Link
Абсолютный: Link
- Убирать дубликаты страниц.
- Приводить доменное имя к виду без www
- Игнорировал ссылки типы «якорь» например:
link
Tel1
- Фильтровать ссылки на картинки, pdf файлы, видео и т.д.
- Добавлять только те страницы, которые отдает ответ 200.
Срочно требуется "вылечить" сайт на dle! Сайт просто отключился - востанавливали сайт из резервного копирования - сайт все равно пустой. Ссылка на сайт: ecpb точка ru Срочно, иначе вылетит из индекса! ...
Составить и реализовать на языке PHP алгоритм вычисления конечных габаритов посылки интернет-магазина, имеющей рациональный минимальный объем и состоящей из одного или нескольких товаров разных габаритов. Для упрощения мы исходим из того, что каждый ...
Необходимо разработать плагин для Wordpress, который решает следующие задачу: Пользователь регистрируется на сайте и его e-mail автоматически попадает в сервис рассылок (возможность выбора: JustClick, GetResponse, MailChimp) Жду ваших комментариев.
Добрый день. Нужна простая почтовая форма для WP используя любой из доступных плагинов (Contact form7,Ninja Forms) с небольшими доработками. Есть ТЗ с полным описанием задачи (вышлю на почту), всего две формы. Спасибо.
Подправить немного стили на сайте доски обьявлений. Добавить 2 ajax-формы.
Нужно исправить ошибки на сайте. joomla 2 virtuemart 2 На сайте http://pan-optic.ru/ в блоке распродаж кнопка купить работает только в самих категориях, на остальных страницах не работает и выдает ошибку в верхнем меню. ...
Нужно наполнить и настроить шаблон http://www.templatemonster.com/ru/demo/47295.html Домен наш. Хостинг наш. Интернет-магазин. Практически все как шаблоне. Наполнение 20 страниц. 1 Главная 1 Страница с Доставкой. 3 ...
Здравствуйте, 1) Нужно для сайта i-cryptex. com подключить шлюз по приему платежей кредитной картой. К страничке с приемом карт нужно подключить SSL. 2) Для этого же сайта нужно ...
Доброго дня Задача: Спарсить все марки \ модели с автору Вывод: 2 файла (текстовика) все данные в строку в первом — каждая марка ...
Есть шаблон WP для портфолио (Lens называется) В нем жестко прописана type_post. Нужно сделать, чтобы его можно задать в файле конфига, например, или заменить на другой. Тем, кто разбирается и работает с WP - ...
