Требуется создать Скрипт, обрабатывающий данные на Гугл диске (конкретно, таблицы с результатами опросов).
Уточнение. Строки в таблицах соответствуют людям, столбцы — задаваемым вопросам. Т.е. если в таблице 200 строк, то из них первая строка — заголовок с формулировками вопросов, и 199 строк — ответы людей на заданные вопросы.
Объём данных для обработки: как минимум, 25 000 таблиц. Размер каждой таблицы - от 0 до 2000 строк, в среднем 130 строк в таблице.
. Возможен следующий вариант реализации: скрипт будет производить поиск по таблицам после их копирования на сервер. Другими словами, для ускорения работы скрипт будет подготавливать данные путём копирования таблиц с Google диска на отдельный сервер, где выборка данных возможна значительно быстрее, по сравнению с выборкой непосредственно на Google диске. Это означает, что перед использованием скрипта (перед созданием выборок) скрипту надо будет выполнить копирование таблиц с Google диска, что может занять много времени, от 1 до 8 часов. После выполнения такого копирования выборка будет осуществляться быстро, в пределах нескольких минут.
2. Можно также предусмотреть опцию обновления данных. Например, скрипт уже скопировал все таблицы на сервер. А затем появилось 3 новые таблицы, и ещё в двух старых таблицах произошли изменения. Можно предусмотреть кнопку в скрипте, при нажатии на которую он будет проверять, какие новые таблицы появились, и в каких произошли изменения, и скачивать эти изменённые данные. Чтобы не приходилось опять запускать длительную процедуру копирования данных (1-8 часов).
3. Чтобы достичь скорости 25000 таблиц за 3 минуты, необходимо запускать приложение на довольно мощном сервере, чтобы было доступно как минимум 4 ядра для вычислений. Подобные тарифы на FirstVDS называются: VDS Улёт, VDS Форсаж и стоят от 1000 руб/месяц. Готов их подключить.
Возможность удаления повторов (людей с одинаковыми ФИО, номерами телефона, email) из результатов выборки.
Гарантировать работу скрипта через четыре года - : важно иметь возможность обработки увеличенного количества данных.
Скрипт будет обрабатывать до 25000 таблиц за указанное время (до 3 минут), при этом для работы скрипта требуются определенные ресурсы: место на HDD жёстком диске X гигабайтов, оперативная память RAM на сервере Y гигабайтов. Для обработки большего числа таблиц (например, вдвое больше таблиц) скрипту понадобятся увеличенные ресурсы, скажем в два раза больше места на HDD (2*X гигабайтов) и в два раза больше RAM (2*Y гигабайтов), а также увеличится время до выдачи результата в два раза - 6 минут вместо 3 минут. Это всё и будет означать, что скрипт имеет возможность обработки увеличенного объёма данных при повышении доступных ресурсов (место на HDD, размер памяти RAM, время).
Важно учесть, чтобы не приходилось выбирать все значения, которые ранее запрашивали в разных формах вручную, а скрипт учитывал все возможные варианты. Другими словами, предусмотреть в интерфейсе возможность подбирать и “склеивать” поля друг с другом - чтобы колонки с немного разными формулировками вопроса считались одной и той же единицей данных.
Замечание: такое склеивание полей необходимо будет проделывать вручную до запуска скрипта.
Важно: сохранять такие настроенные “склейки” для будущих запусков скрипта.
Примеры входных данных:
мужчины 20-40 лет бухгалтера, из сферы строительства
женщины 18-45 лет, владельцы авто марки форд Мондео, кузов седан, 2010 года выпуска
Женщины 18-35 лет индивидуальные предприниматели имеющие открытый счёт в Промсвязьбанке.
В заявке пишите, пожалуйста, ответы на вопросы ( без ответа на них я не смогу рассмотреть Вашу заявку, так как мне нужно понимать, что Вы правильно поняли ТЗ и разбираетесь в этой сфере):
1. Был ли опыт создания скриптов в гугл докс?
2. Готовы ли работать через безопасную сделку и без предоплаты?
3. За какой бюджет готовы взять за работу и в какие сроки готовы уложиться?
Необходимо прорегистрировать компанию в каталогах. Перед регистрацией необходимо проверить, возможно, что компания уже зарегистрирована в каталоге. Отчет предоставляем в Екселе, две колонки: 1 - исходный список ссылок 2 - ссылка ...
Приветствую ! Нужно спарсить Вопросы с майл Ответы по такой схеме: Данные для сбора-Список ключевых фраз(длинные,6-11 слов) -по ним парсим релевантную выдачу майл.ответы, естественно точных вхождений немного(может и не быть), а вот косвенных(нетематических,читай-не ...
Требуется осмотреть собранные ключевые слова и сделать корректировки. Осмотреть кластеризацию ключей и сделать корректировки. Продумать структуру разделов сайта по ключевым словам. Создать задания копирайтерам для написания статей (EN). Всего ...
Требуется составление семантического ядра для будущего сайта транспортной компании.
Всем привет! Требуется собрать и отобрать 1000 рабочих поисковых запросов для РК в Директ. Тематика - детский клуб. Регион один.
Задача состоит в том чтобы можно было отслеживать конверсию для этого нужно проставить Пиксель (учет нажатий кнопок, Jivasite и Binotel) для учета по каким ключевым фразам люди заходили и с какой позиции потом обратились к ...
Сайт SRKBLOG.ru - статейник-форум на медицинскую тематику. Написан на Drupal 7, адаптирован для мобильных устройств. Требуется провести SEO-аудит и с целью повышения видимости сайта в поисковых системах по имеющемуся списку ключевых запросов с разработкой ТЗ ...
Нужно на всех строительных досках, форумах и порталах Москвы и МО разместить по 2 объявления. Знаю, что есть сервисы по автоматическому размещению, но они кидают во все подряд доски и в другие города и ...
доброго времени суток, требуется человек со знанием дела для продвижения сайта в поисковой системе Гугл на первые позиции по региону Харьков. vip-service.kh.ua
Есть 5 ключевых фраз. Нужно по каждому из них сделать выгрузку по смежным релевантным запросам (чтобы было вхождение хотя бы 2-х слов из начального ключевика). Выгрузка должна быть формате Excel с возможностью сортировки по KD ...
