На входе:
1) сервак на Ubuntu Server с каналом 100Мбит, с которого собственно и будет запускаться скрипт
2) сайт (не мой) с 3 миллионами страниц, общим объёмом, если его выкачать на винт – около 20Гб. Сайт - любой, а не какой-то один.
Нужно, чтобы скрипт максимально быстро (желательно чтобы всё упиралось в канал, а не в проц) обошёл рекурсивно весь сайт, и собрал все урлы из ссылок в текстовый файл. При этом – чтобы можно было делать ограничения на расширения файлов, т.е. например .html и .php – обрабатываются, а .mp3 и .pdf – игнорируются.
На каком языке это писать – предлагайте, мне важен конечный результат, стабильность работы, и, главное – скорость. Функционал и ТЗ более подробно обсудим уже в процессе. К примеру – быть может быстрее и проще будет выкачать весь сайт на винт, и лишь после этого – собрать из файлов урлы.
Пишите свои предложения с прайсами, приблизительными сроками, и прочей информацией, сюда или в личку, как вам удобнее.
Нужен скрипт на PHP получения прямого линка на видеофайл с сайта Вконтакте.ру по адресной строке страницы с видео. Собственно необходимые данные есть на странице с видео, нужно только до неё добраться! Чтобы не тратить ...
Требуется организовать автоматический приём платежей через систему ЯндексДеньги через Робокассу (www.robokassa.ru) Но есть сложность в задаче. Нужно сделать приём таким как на сайте www.mamba.ru , т.е. без "преходной" страницы от Робокассы, ...
Необходимо разработать интернет-магазин на основе БД TECDOC Ьакже интересуют готовые решения Задача сделать автоматизированную загрузку 20 баз архивов по маркам машин (ауди, мерседес) и они все весят 5 Гб в ...
Требуется человек знакомый с движком SkaDate (6,7) для поиска и устранения ошибок, настройки, внедрения новых функций и т.д
Здесь 2 вакансии в обной. Нужен исполнитель а пототом сисадмин. Не обязательно чтобы это был один человек, но было-бы не полохо. Дизайн БД схимы уже сделан, сюда приложенно простое ТЗ, но ...
Требуеться сделать интернет-магазин одежды. Страничка товара должна иметь аналогичный опции как здесь http://www.gap.com/browse/product.do?cid=8793&vid=1&pid=691534&scid=691534032 Выбор цвета, выбор размера, описание, картинки итд Опции выбора цвета и товара не списком а как в примере! ...
Сайт для примера: twirpx.com Сайт для обмена полезными документами между пользователями (студентами).
Простое задание - помочь проинтегрировать PEAR в проект PHP - Anuko Time Tracker - бесплатный открытый код, скачать можно с сайта http://www.anuko.com Сейчас код подразумевает наличие PEAR, для некоторых это сложно. Нужно ...
Приветствую! Встала зада спарсить пару-тройку каталогов товаров из вэба... Объем каждого где-то 50К записей, Фоток там нету да и не нужны, только текст. На выходе нужно уложить каждый каталог ...
Сделать модуль "есть или нет товара в наличии" Система управления мамба версия cms 1.0.1 b3 На ней установлен магазин, нужно сделать этот блок. Всем знатокам мамба, добро пожаловать в личку. ...
