1) Парсим гугл: на входе нужно использование прокси, возможность задавать большой объем запросов, а также диапазон количества картинок, которые будут парситься (например, я указываю 1 раз от 30 до 50, и для каждого запроса будет браться рандомное значение из этого диапазона). Нужно, чтобы скрипт сам работал с массивом запросов, т.е. если я указал 2000 ключей, а он берет за один запуск по 50, например, то чтобы он сам подчищал файл, оставляя неиспользованные ключи.
2) Скачиваем картинки на диск и добавляем их в базу данных, нужно брать с самих сайтов, кроме картинки нужен тайтл страницы, с которой она берется, рандомный идентификатор, который тоже задается в диапазоне (картинка называется по нему). Т.е. раньше это было реализовано так - я задаю диапазон чисел, и с него с определенным шагом каждой картинке присваивается номер, который есть в базе, и который является названием картинки на диске. Также нужен размер и вес картинки.
Также нужна возможность запускать скрипт через крон, чтобы не было проблем на сервере.
По скорости, желательно, чтобы за день можно было таким образом выкачивать 1-2 тысячи запросов хотя бы, без особого геморроя в виде перезапуска скрипта и тд
Задача проекта: верстка интерфейса WPF приложения под ОС Windows согласно предоставленному дизайну, а также разработка бизнес-логики и функционала по взаимодействию с сервером. Старт проекта: ASAP. Область применения: терминал самообслуживания Общее ...
С# Здравствуйте, хочу предложить вам разработать бэкенд для проекта на с#. Это кошелек для криптовалюты с мессенджером. Готовы за это взяться ?
Прошу указывать Вашу стоимость и срок реализации в отклике! Спасибо! Общая схема взаимодействия (все эти возможности есть в Апи): см скрин Схема... Подписка происходит на сайте – пользователь оставляет ...
Необходимо разработать бот для Telegram. По функционалу обычный вопрос-ответ без каких-либо генераций документов и т.д.
Есть запись в одну строку, бренд и номер товара пишутся в начале строки и отделены друг от друга | разделителем. Необходимо в отдельную колонку продублировать бренд и в отдельную номер товара.
Добрый день. Нам нужен специалист со знаниями программы бит финанс, который будет сопровождать настройки. В подчинении будет человек, который будет выполнять поставленные задачи. Необходимо запустить программу в кротчайшие сроки.
Для диплома необходима программа "автоматизированное рабочее место продавца автомобилей в автосалоне". Программа должна работать с базами данных: покупатели, автомобили, сотрудники. Необходимый функционал: 1) Заказ клиента на автомобиль 2) Реализация автомобилей ...
Нужно создать макросы для Гугл таблицы. Берем к примеру лист с названием "поступления" А1 - 10000 Б1 название листа(с выпадающего списка или сами указываем, может к примеру на других листах указать какой-то код ...
Сама задача ниже, необходимо написать рабочий оригинальный код с комментариями и пояснениями, протестировать. Задача ниже) Спасибо за отклик) Задача Дано поле 10 х 10 позиций. Нумерация позиций по горизонтали и по вертикали начинается ...
Необходимо разработать на C++ симулятор слот-машины (как Однорукий бандит). Есть описание игры, требуется реализация в виде программы Windows. Только для тестирования и расчета статистических характеристик, графической разработки не требуется. Есть готовая программа, настроенная для другой ...
