Парсинг урлов с гостевух
Скрипт должен грабить урлы с гостевух и форумов.
Рассмотрим работу скрипта на примере.
На входе файл с урлами гостевух url.txt
Скрипт доложен загрузить первый урл потом сграбить все внешние(не из этого домена) урлы
- если урл не грузится, то ждем 20секунд и переходим к следующему урлу
- если урл грузится, но он очень большой по обьему, то грузим 20 секунд и обрываем загрузки и грабим из того что скачалось
Грабим в память все внешнии урлы, но перед тем как сохранить их в файл нужно будет их отфильтровать на:
- чтобы не было доменов 2-ого уровня без папок и сабов
- чтобы не было ошибок урле, так как в некоторых гостевухах присутсвуют урлы с ошибками
- проверяем урлы на наличие в файле delete.txt. Если сграбленные урлы есть в этом файле то удаляем их из памяти
- оставлять один урл, если урлы из одного домена и папки.
Например было несколько таких урлов
http://domen.com/zuka/htposa.html
http://domen.com/zuka/sdfsdf.html
http://domen.com/zuka/osihaz.html
оставляем один, без разницы какой
Написать можно как на перле так и на пхп.
Цену и сроки указывайте в своих предложениях.
Есть работающий интернет магазин, с базой товаров около 2000 едениц. На нем работает парсер (сравнивает наличие товара с поставщиком). (движок на основе joomla) Есть еще 2 сайта, но они пустые. На одном движок shop ...
Необходимо спрограммировать скрипт автомобильной доски объявлений. В наличии дизайн доски объявлений, техническое задание. Скрипт надо создать используя настройку дизайна (при помощи смарти) и с использованием псевдостатики. Желателен опыть создания досок объявлений. Указывайте ...
Существует сайт "www.chersa.ru". Ему нужна некоторая программная доработка. Затем - продвижение в сети. Необходим программист, способный: разобраться в имеющемся программном обеспечении сайта, осуществлять консультации по управлению им, создать недостающие страницы.
На первый взгляд, веб-сайты кажутся полностью функциональными. Данный проект предназначен для простого общения в сети. Мы будем разрабатывать различные сайты, используя такой вид связи и другие модули. А теперь хотелось бы ...
Требуется программирование сайта SMC - библиотеки нормативных документов. На PHP и MySQL Четыре основных модуля. - Каталог организаций, Контент, Страницы, Реклама. Особенность - Несколько языковых версий. Русский, Английский, Французский, Иврит, Арабский. ...
Необходимо создать флэш-сайт для дизайн-студии, требуется нечто вообразимое и невероятно креативное, детальнее по аське.
Всем привет! Задача такая: существует PHP-сгенерированное изображение на странице (тоже PHP-сгенерированной, но это не важно). Необходимо средствами Perl скачать эту страницу, текстовое содержимое сохранить в одной папке, картинки- в другой папке. Это все. Надо ...
Концепция сайта: Файловый сервис – аналог @filepost.ru. Позволяет пользователю сразу после регистрации на сайте получить квоту дискового пространства (по умолчанию – 3Гб), в пределах которой он может бесплатно закачивать файлы на ...
Имеется функция JavaScript для скроллирования блока. Нужно добавить между стрелочками скролл-бар. Стрелочки и бар — рисованные, не автоматические, overflow:hidden вобщем. Кого заинтересовало предложение, оставляйте пожалуйста ваши icq. Извините господа, бюджет ...
Проект выполнен...
