Скрейпер данных с сайта недвижимости

$500
  1. Биржа фриланса
  2. Веб-программирование
Завершен10 заявок1112 просмотров

Требуется написать скрипт умеющий таскать данные с сайта realtor.com. Конкретно надо утаскивать листинги домов (например: http://www.realtor.com/Prop/1077121176 ) То есть надо забрать адрес, цену дома, фотографии, Property Features структурированно и текстовое описание. Некоторые дома содержат виртульный тур, его брать не надо, но надо сохранить линк на него. Также надо данные продавца. И сорбственно URL, тот что в /prop/.

Трудность задачи состоит в том, чтобы обеспечить обновление базы не вытаскивая каждый раз ее всю по новой. То есть надо аккуратненько научится вытаскивать именно новые листинги и, что куда сложнее, убивать снятые с продажи. В любом случае надо быть аккуратным, сайт содержит три миллиона листингов и как-то прятаться от ока админов надо. Ротирование проксей использовать можно и нужно, но только вместе с их источником. То есть я не против купить лист подписки, но выбирать его вам.

Бюджет проекта указан ориентировочно и может быть легко скорректирован при хорошем решении задачи. Предоплты нет, но сервис безопасных сделок есть.

Прием работы сделаем крйне просто - открутим несколько циклов у вас на хостинге и увидим ловится она или нет, добротно ли собирает листинги новые, удивает ли старые, способна ли вообще в разумное время все сделать и т.п. Если все ок, то тогда уже ко мне перенесем.

Задача не так проста как кажется на первый взгляд. Утащить 3 миллиона листингов незаметно и обновлять это не кот начхал. Тут, к примеру, без многопоточности не жить ибо в один поток оно будет собираться несколько лет.

18 лет назад
Mauser
Тер 
51 год
18 лет в сервисе
Был
5 лет назад

Выбранный исполнитель

Polar
47 лет
18 лет в сервисе
Была
9 лет назад
18 лет назад
$500
Немного долго делал, но там в процессе сайт изменился. Но сделал. Разумно и прилично
Четкая постановка задачи. Быстрая и полная оплата. Было приятно работать. Человек на своем месте и соответствует своей репутации. Всем очень рекомендую.

Заявки фрилансеров

Polar
47 лет
18 лет в сервисе
Была
9 лет назад
18 лет назад