Граббер товаров DealExtreme.com в формат WebAsyst

1) выполнен на Perl 5.10+ (для более старых версий потребуется минимальная корректировка).

2) Данные предварительно пишутся в свою базу (SQLite), после чего строятся CSV файлы. Формат CSV файла тот, который требуется для импорта в WebAsyst Shop-Script (http://www.webasyst.ru/support/shop/manual.html#import-kataloga-tovarov-iz-csv).

3) Наличие как веб-интерфейса (см.скриншот) так и возможности ручного запуска через консоль или по крону.

4) Возобновление работы при преждевременном завершении скрипта.

5) конфигурируется:

* число потоков скачивания

* пути для сохранения картинок и для сохранения CSV-файлов.

* максимальный размер CSV, после превышения которого CSV будет раздроблен на части.

6) прокси не поддерживаются поскольку в них нет нужды - сервер дилэкстрима не банит за частые запросы с одного IP.

Возможна доработка, например, выгрузка в иной формат нежели CSV для WebAsyst-a.

REQUIREMENTS / НЕОБХОДИМОЕ ДЛЯ РАБОТЫ

Perl 5.8+

DBD::SQLite

threads 1.75+

threads::shared 1.33+