Требуется написание граббера Я.Маркета для ДЛЕ.
Основные требования:
1) Грабинг через прокси.
В файл proxy.txt кидается несколько проксей и граббер использует их для грабинга. Если яндекс выводит сообщение Вы - робот или прокси не отвечает, то прокси меняется.
2) Грабинг картинок.
3) Грабинг полного описания товаров.
В короткую новость добавляется только название и картинка, а в полную новость добавляется полное описание и картинки.
4) Задержка.
То есть выполнили грабинг 1 товара, задержка 3-5 секунд и далее грабинг следующего, чтобы яндекс не банил прокси.
5) За дополнительную плату - грабинг комментариев к товару и постинг их в комментарии.
6) При грабинге указываем начальную точку. То есть указали - http://market.yandex.ru/catalog.xml?hid=91491 и грабит только сотовые телефоны.