ЗадачаНеобходимо сделать дополнительный функционал для ИМ на Laravel 1. сделать админ часть по заполнению 3-х таблиц 2. реализовать работу сайта на поддоменах 3. реализовать для каждого поддомена подстановку своего контента ...
Скрапинг (Python 2.7, Scrapy)
Необходимо написать скрипт на Python 2.7 сиспользованием библиотеки scrapy,который будет выполнять скрапинг страниц на сайте https://chelyabinsk.flamp.ru исохранять отзывы в файлах формата json. Например, сохранять в файле все отзывы со страницы https://chelyabinsk.flamp.ru/firm/salam_kafe-2111590606323571после нажатия кнопки «Показать ещё отзывы» и после прокрутки этой страницы до
конца.
Если открыть эту страницу в Гугл Хром и открыть инструментыразработчика, видим (см файл «flamp1.png»), что при нажатии накнопку «Показать ещё отзывы» выполняется запрос «reviews?limit=5», далее после
страницы прокрутки мышью выполняется запрос «reviews?limit=5&offset_id=3273977»,
далее при прокрутке мышью – запрос «reviews?limit=5&offset_id=2868699» и
т.д. Причём в данных, которые возвращает предыдущий запрос, есть ссылка на
следующий запрос, например, запрос «reviews?limit=5» возвращает ссылку на
запрос «reviews?limit=5&offset_id=3273977»:
"next_link":https://flamp.ru/api/2.0/filials/2111590606323571/reviews?limit=5&offset_id=3273977
Данные поступают в формате json, например, текст отзыва – этозначение поля “text” (смфайл «flamp2.png»). Необходимо сохранить вфайле json данные о всех отзывов с указанной страницы. Например, настранице «https://chelyabinsk.flamp.ru/firm/salam_kafe-2111590606323571» есть
27 отзывов на момент 23.08.18. Пусть в файл сохраняются следующие поля: "next_link", "filial_id", "user_id","text", "rating", "date_created",
"source", "user":{"name"},
"official_answer"
Работа с библиотекой Scrapy описана здесь:
https://docs.scrapy.org/en/latest/intro/tutorial.html
Решение такой же задачи описано здесь:
Будем считать, что задание выполнено, если Вы отправляете мнескрипты Scrapy, которыеуспешно выполняются на моём компьютере (на Python 2.7)
Заявки фрилансеров
Похожие заказы
- Веб-программирование6 заявокЗакрыт7 лет назад
Здравствуйте. Нужно Сменить домен и перенести сайт на новый домен в другую панель хостинга. Обе панели таймвеб.
Веб-программирование7 заявокЗакрыт7 лет назад- $5
Нужна разовая помощь по скрипту, несколько мелких правок
Веб-программирование1 исполнительЗавершен7 лет назад Здравствуйте , ищу специалиста ,который сможет быстро и качественно адаптировать мой сайт на симфони для различных устройств и под разные системы. Больший упор на тхнику Apple
Веб-программирование5 заявокЗакрыт7 лет назадТребуется специалист с большим опытом для доработки сайта на фреймворке laravel. От вас Портфолио и стоимость нормо-часа. Новичков и "мастеров на все руки" прошу не беспокоить. Старт работы в ближайшие дни. Обязательное требование - быть ...
Веб-программирование1 исполнительЗавершен7 лет назад1. Скрипт обходит все категории на сайте и удаляет те категории в которых меньше 3 новостей 2. Новости из удаляемых категорий тоже удаляются
Веб-программирование1 исполнительЗавершен7 лет назадНужно будет пофиксить баги на сайте, в основном на фронте.
Веб-программирование1 заявкаЗакрыт7 лет назадВы можете использовать уже готовую конфигурацию (например: магазин продуктов, аптека и тд) – скаченную с торрентов или от предыдущих Ваших клиентов. Особенности цветочного магазина, которые стоит учесть: 1) Приход товара, который уже есть в наличии должен быть ...
Веб-программированиенет заявокЗакрыт7 лет назад1. Есть старый сайт на опенкарт (если нужен) 2. Есть новый готовый дизайн и верстка podushki.boldov.com 3. Необходимо новый сверстанный дизайн накинуть на движок! Оплата по факту выполнения работы, без ...
Веб-программирование1 исполнительЗавершен7 лет назадДобрый день! Есть замечательная библиотека, где за 5 минут поднимается форма загрузки. https://www.dropzonejs.com/ Задачка - сделать форму загрузки, чтобы в конце можно было скопировать url файл (например мы кладем в папку uploads файлы, ...
Веб-программирование1 исполнительЗавершен7 лет назад