Парсер гугла

$250
  1. Биржа фриланса
  2. Веб-программирование
Закрыт9 заявок244 просмотра

Скорость парсинга не мение 100К в час(многопоточность), защита от бана поисковиков(прокси)

Должен уметь вытягивать все имеющиеся в в базе урлы (пример запроса inurl:"/bbs.cgi"

в базе 368 000 документов-надо вытащить все урлы и записать в текстовый файл)

Должен иметь редактор: отсеивать дубликаты по заданным параметрам(в основном по домену), "хвосты" урлов (резать лишнее) web интерфейс

иметь менеджер задач тоесть очередь отпарсил один запрос создал файл с результатами переходить к следующему запросу по очереди,

также иметь фпт тоесть в менеджере результатов должна быть опция отправить файл по фтп,

вот в принципе и все,главное вытаскивать все результаты хотябы 70% с учетом дублей и чтобы поисковик не банил,

рассмотрю готовые варианты

17 лет назад
shapic
44 года
17 лет в сервисе
Был
17 лет назад

Заявки фрилансеров

Нет заявок фрилансеров

  • Похожие заказы

  • Разработать информер

    $500

    Есть сервер win2003 на сервере стоит терминал MT4 в терминале скрипт который экспортирует данные в текстовый файл в следующем виде: EURUSD 1 0 GBPUSD 1 0 и т.д ...

    Веб-программирование1 заявка
    Закрыт
    17 лет назад

  • Прокси чекер и личер ( Proxy Checker )

    $77

    Необходимо написать скрипт на Perl , который будет чекить прокси SOCKS4/5 и HTTP/S из текстового файла (в формате один IP:PORT на одной строке) и в многопоточном режиме проверять собранные прокси на валидность. Вся работа должна ...

    Linux
    Веб-программирование1 исполнитель
    Закрыт
    17 лет назад

  • Форма регистрации фирм

    Для сайта www.hit-sale.ru нужно сделать форму регистрации, для добавления данных об организации на сайт (см прикреплённый файл) данные отправляются на меил

    Веб-программирование1 исполнитель
    Завершен
    17 лет назад

  • Проекты на битриксе

    Нужно срочно, за 3 дня сделать 2 проекта на битриксе Один доделать Другой полностью Просьба писать тем, кто эти 3 дня полностью свободен и может находиться в асе постоянно Подробности ...

    Веб-программирование1 заявка
    Закрыт
    17 лет назад

  • Скрипт Комментарий

    Добрый день! Нужен скрипт комментарий на php без базы mysql. Скрипт должен быть многоразовый, то есть допустим, есть HTML-страница новостей к ней прикручиваем готовый скрипт и он работает только на это страничке, на 2 ...

    HTMLMySQLPHP
    Веб-программирование1 исполнитель
    Завершен
    17 лет назад

  • PHP скрипт

    Нужен такой скрипт который будет изменять размер изображений. Т.е. скрипту передается картинка, а он ее уменьшает под заданный размер. Пишите цену и номер аськи. Мне в аську не ...

    PHP
    Веб-программирование1 исполнитель
    Завершен
    17 лет назад

  • Составление он-лайн тестов

    Нужен человек для составления срипта и вывешивания на сайт он-лайн тестов на iq и психологических тестов. Принцип реализации такой же, как здесь: http://www.sposobnosti.ru/iq/test.php Оплата - по договоренности.

    Веб-программирование13 заявок
    Закрыт
    17 лет назад

  • Скрипт граббера

    Нужен скрипт граббера для сбора информации с ozon.ru (полное название книги и автора, описание, картинка бол. и мал.) по заданным данным (названию и автору).

    Веб-программирование18 заявок
    Закрыт
    17 лет назад

  • Флэш сайт

    $250

    Куплен флэш шаблон. Надо написать к нему админку по ТЗ заказчика и внести кое-какие изменения в шаблоне, в частности, в одном из разделов организовать гостевую. Небходимы хорошие знания ActionScript+PHP + MySQL. В процессе разработки возможны ...

    MySQLPHP
    Веб-программирование1 исполнитель
    Завершен
    17 лет назад

  • Вёрстка vBulletin

    Интеграция дизайна макета psd в vBulletin. {скин} Прошу указать опыт по данному типу форума. {портфолио} Сделать до НГ {неделя}

    Веб-программирование1 исполнитель
    Закрыт
    17 лет назад