Разработка парсеров и интеграция в одном проекте

Допустимо использовать уже готовые cms, но их предварительно нужно согласовать

Что должен уметь CMS

1. Эта CMS прежде всего большая коллекция парсеров всевозможных выдач, от поисковых систем до социальных сетей. Все что умеет агрегировать данные и имеет api - наша цель. Полный список будет предоставлен исполнителю

• yandex
• google
• youtube
• vk
• google image

2. После того как CMS спарсила данные она кладет их в бд (которая поддерживает легко от 1 до 20 соединений в секунду без большой нагрузки на железо)

 

3. Для спаршенных результатов создается и кешируется страница, так чтобы она была доступна поисковым системам при индексировании

 

4. Если пользователь не находит на сайте данные и вводит в поиск CMS ключевую фразу CMS проходит по следующему алгоритму:

• информация есть в бд
  • выдать пользователю, не включать парсеры
• информации нет в бд
  • включить парсеры, получить результаты
  • записать полученный результат в бд
  • выдать пользователю страницу
  • закешировать страницу

5. CMS должна легко масштабироваться под разные шаблоны

 

Как должен CMS отдавать данные

1. Отдает данные списком который состоит из спаршенных ранее результатов. Исполнителю будет показан шаблон

 

2. При нажатии на интересующий результат пользователь сайта будет перенаправлен на страницу с счетчиком обратного отсчета от 10 до 0. После того как счетчик закончил отсчет - пользователю показывается ссылка с интересующим его результатом

 

Как происходит управление CMS

1. CMS должен уметь импортировать список ключей и включать парсеры если появились новые задачи на импорт

 

2. Должен записывать запросы пользователя которые он вводит в поисковой строке

 

3. Иметь кастомный блеклист - перед включением парсера ключ проверяется на соответствие с блеклистом

 

4. Блоки вывода кастомного кода прямо из админки. И да, куда их выводить мы покажем исполнителю

Для того что бы связаться с вами оставляйте скайп и\или телеграмм (что предпочтительней). Работаем с почасовой ставкой (открыты к любым предложениям) через хабстаф. 

К заказу прикрепляйте свои скиллы, опыт работы