Необходима функция, которая парсит сайт и при этом сохраняет в базе данных его категориальную структуру. То есть записи БД будут иметь следующий формат:
ID URL страницы URL родительской страницы
Идентификация структуры может проходить либо по структурам URLов сайта - например:
В данном случае site.ru/papka/doc1 является подстраницей site.ru/papka.
Также должна быть возможность вместо использования структуры в качестве базиса идентификации категорий, использовать маркеры для определения родительских страниц (маркер - это кусок кода на странице, который может включать название категории). Например, на блоге на вордпресс с ЧПУ вида blog.ru/postname - это может быть код, в котором заключено название категории.
Также будут приветствоваться и поощряться любые советы в оптимизации алгоритма.
p.s. желательно сотрудничество с человеком, у которого уже есть готовые решения.
p.p.s. базовые функции для получения контента со страницы, а также сбора внутренних ссылок я предоставлю (просто функции уже отлажены, поэтому настаиваю именно на их использовании)
Требуется разработать модель и контроллер, без визуальных форм для простого сервиса управления файлами. Среда - Ruby 1.9.1 , Rails 2.3.5 Общие требования к моделям и процессу разработки: http://123.writeboard.com/804de8d7ac7ade4d4 Требования к модели ...
Необходимо создать небольшой сайт стандартной конфигурации без наворотов. На любой цмс Бюджет небольшой Выбирать буду по цене Верстка уже ...
Здравствуйте! Вообщем есть сайт с категориями и подкатегориями. Нужно сделать так чтобы у меня выводились подкатегории в левой колонки и чтобы они не пропадали, когда я нажму на одну из этих подкатегории. Подробнее: ...
В общем граббер должен выполнять следующее: Возможность граббить с большинства сайтов, построенных на этой CMS. граббер должен отличаться удобным интерфейсом и хорошим качеством граббинга. Также, в отличие от ...
Нужно изменить цвет scrollbar'a так, что бы он менялся во всех браузерах, а не только в IE. Также следует учесть то, что бы вместе с ним работал класс jQuery $j(".class").scrollTop(65000); Ну и ...
Сделана регистрация, нужно доработать, и сделать на основе дизайн макетов личный кабинет (там будут регистрационные данные доступные для изменения), размещение вакансий, резюме и поиск по ним, доска объявлений по категориям, размещение объявлений, изменение, удаление, поиск ...
Есть страница: http://bestshop.dp.ua/test/index.html В коде организован выбор одного из рисунков в зависимости от разрешения экрана пользователя и плавное появление этого рисунка. На локальном компьютере все работает отлично, но при загрузке с интернета ...
Помогите найти вариант как вставить iframe,
Результат: страница на HTML (любом другом языке: PHP, ASP.NET,...) которая выдает информацию о системе: Процессор Видеокарта Оперативная память
Создать, написать онлайн флеш игру мультипользовательскую. Возможно 3D. Все подробности уже при общении, здесь парой фраз не обойтись :)
