Санкт-Петербург

Россия

Цель:Сбор информации по производителям (отпускные цены) на их продукцию 
(применимо к различным отраслям промышленности), а также цен розничной 
торговли этими товарами в различных сетевых и специализированных 
магазинах

Примеры сайтов (откуда планируется собрать цены):
igooods.ru , www.okeydostavka.ru , 
www.a-piter.ru/cena/1_vse_katalogi.html (возможно понадобятся элементы 
OCR в этом случае) и т.п.

Разработать веб-краулер для сбора цен. Сбор данных только с добавленных сайтов (искать сами сайты не нужно, они уже найдены)
Причем не все страницы подряд - а выделенные категории - например - молочные продукты. Т.е. на igoods кликаем Молочные и идем только вглубь по списку продуктов по всем доп. страницам с ценами (названиями и доп параметрами мол.продуктов)
Т.е. парсер будет иметь подмодули (правила) для сбора с конкретных сайтов. Должна быть обеспечена гибкость редактирования этих правил на случай изменений на целевом сайте. + Относительная легкость для администратора (с опытом программирования) для добавления новых сайтов на основе существующих шаблонов (понятно что где-то потребуется сущ доработка, но по возможности максимально прозрачно)
NB: данные на сайтах могут быть по ajax в json. 

Собранные цены (и параметры продуктов) заносятся в БД.
Нужно создать БД с гибкой архитектурой (для добавления новых категорий 
продуктов и интересующих параметров например: мясные продукты, говядина,
 замороженное, охлажденное, производитель-страна-город, дистрибьютор, 
торговая сеть, состав, упаковка и т.п.)
Первоначально продукты питания. Позже будут добавлены другие товары - 
строительные и т.д.

Выбрать БД (MySql/MariaDB, PostgreSQL и т.п.), ОС (скорее всего Linux 
внутри вм на хостинге DigitalOcean)

Сделать веб UI (сайт - хостинг на том же DigitalOcean vm / nginx)
для отображения цен (пример UI в личном сообщении)
анализа (сравнения по разным параметрам) и фильтрации + возможно 
графическое отображение (диаграммы, графики).

+ (в дальнейшем развитии , но заложено в архитектуре)
Гибкая поддержка разграничений доступа для разных категорий клиентов - 
кому-то доступ только молочные продукты, кому-то молочные+мясные и т.п.,
 кому-то только для одного города, кому-то по всем городам-странам.  
Соответственно База (и UI для ее ведения) по клиентам - создание, 
удаление, назначение доступа и т.д.

В будущем будет доп проект мобильных приложений (android/ios/ qt?) для 
сканирования цен прямо в магазинах и отправки их в БД товаров.  

Описание очень краткое , ТЗ составляется и будет обновляться.
Все моменты уточнять в чате-сообщениях.

Цель:Сбор информации по производителям (отпускные цены) на их продукцию 
(применимо к различным отраслям промышленности), а также цен розничной 
торговли этими товарами в различных сетевых и специализированных 
магазинах

Примеры сайтов (откуда планируется собрать цены):
<a href="http://igooods.ru" rel="nofollow noopener noreferrer" target="_blank">igooods.ru</a> , <a href="http://www.okeydostavka.ru" rel="nofollow noopener noreferrer" target="_blank">www.okeydostavka.ru</a> , 
<a href="http://www.a-piter.ru/cena/1_vse_katalogi.html" rel="nofollow noopener noreferrer" target="_blank">www.a-piter.ru/cena/1_vse_katalogi.html</a> (возможно понадобятся элементы 
OCR в этом случае) и т.п.

Разработать веб-краулер для сбора цен. Сбор данных только с добавленных сайтов (искать сами сайты не нужно, они уже найдены)
Причем не все страницы подряд - а выделенные категории - например - молочные продукты. Т.е. на igoods кликаем Молочные и идем только вглубь по списку продуктов по всем доп. страницам с ценами (названиями и доп параметрами мол.продуктов)
Т.е. парсер будет иметь подмодули (правила) для сбора с конкретных сайтов. Должна быть обеспечена гибкость редактирования этих правил на случай изменений на целевом сайте. + Относительная легкость для администратора (с опытом программирования) для добавления новых сайтов на основе существующих шаблонов (понятно что где-то потребуется сущ доработка, но по возможности максимально прозрачно)
NB: данные на сайтах могут быть по ajax в json. 

Собранные цены (и параметры продуктов) заносятся в БД.
Нужно создать БД с гибкой архитектурой (для добавления новых категорий 
продуктов и интересующих параметров например: мясные продукты, говядина,
 замороженное, охлажденное, производитель-страна-город, дистрибьютор, 
торговая сеть, состав, упаковка и т.п.)
Первоначально продукты питания. Позже будут добавлены другие товары - 
строительные и т.д.

Выбрать БД (MySql/MariaDB, PostgreSQL и т.п.), ОС (скорее всего Linux 
внутри вм на хостинге DigitalOcean)

Сделать веб UI (сайт - хостинг на том же DigitalOcean vm / nginx)
для отображения цен (пример UI в личном сообщении)
анализа (сравнения по разным параметрам) и фильтрации + возможно 
графическое отображение (диаграммы, графики).

+ (в дальнейшем развитии , но заложено в архитектуре)
Гибкая поддержка разграничений доступа для разных категорий клиентов - 
кому-то доступ только молочные продукты, кому-то молочные+мясные и т.п.,
 кому-то только для одного города, кому-то по всем городам-странам. 
Соответственно База (и UI для ее ведения) по клиентам - создание, 
удаление, назначение доступа и т.д.

В будущем будет доп проект мобильных приложений (android/ios/ qt?) для 
сканирования цен прямо в магазинах и отправки их в БД товаров. 

Описание очень краткое , ТЗ составляется и будет обновляться.
Все моменты уточнять в чате-сообщениях.

Александр smx06

Web-crawler + DB (SQL) + Web UI