Бекенд для простой системы анализа статистики

Глобально задачу можно сформулировать примерно так: Парсить текстовые данные в формате json, раскладывать их в реляционная базу данных, затем отображать эти данные в виде таблиц, графиков и диаграмм.

Ниже более менее детальное тз, с радостью отвечу на все вопросы.

--- Постановка задачи ---

Задача анализа статистики делится на две большие части:

I) Загрузка данных и редактирование профиля

II) Отображение данных

Часть I.

Требуется скрипт, на вход которому подается текстовый файл содержащий

лог действий всех пользователей (есть список логируемых действий).

Нужно чтобы:

1) Скрипт складывал данные из текстового лога в соответствующие

таблицы базы данных для дальнейшего анализа.

2) Скрипт осуществлял корректировку профиля игрока в соответствии с

этим логом. Что имеется ввиду в пункте I.2: В базе, кроме сырых данных

лога, мы хотим накапливать информацию об игроке: делал ли он покупки в

игре (платящий игрок), является ли он читером, временные метки, когда

игрок стал платящим, читером, сколько сессий было у игрока, время

последней активности, возможно, какие-то другие данные которые в

дальнейшем позволят существенно уменьшить сложность запросов.

3) Скрипт через каждый некий период времени (dt) вычисляет количество

игроков, активных за прошедший час (hourly active users, HAU), день

(daily active users, DAU) и месяц (monthly active users, MAU) и

сохраняет эти числа в базу для дальнейшего отображения. Нужно

предусмотреть возможность сохранять эти данные не только по всем

пользователям, но и сегментировано (платящие, читеры, открывшие за

рассматриваемый период времени больше 3 сессий).

На жаргоне инап (от IAP - in application purchase) - это факт покупки

за реальные деньги некоей промежуточной "внутриигровой валюты", за

которую впоследствии можно купить внутри игры уже что-то полезное

(например, новый автомат или аптечку, этот второй факт называется

апгрейдом). Для информации - внутриигровую валюту можно зарабатывать и

в самой игре, не покупая ее за реальные деньги.

Часть II. Требуется веб-приложение, которое позволяет визуализировать

следующие данные:

1) HAU, DAU, MAU

Далее все данные должны иметь возможность сегментации по

пользователям, архитектура сегментации должна позволять легко

добавлять новые фильтры. Стартовый список фильтров смотри ниже.

2) Появление новых пользователей(первый страрт приложения) также - за

час, день, месяц.

3) Прогресс кампании (количество пользователей которые прошли этот

уровень, доля от всех пользователей, доля от прошедших предыдущий

уровень)

4) Прогресс приобретения апгрейдов (количество пользователей сделавших

данный конкретный апгрейд). Здесь и далее апгрейд - некое событие,

неважно какое (как правило - приобретение чего-нибудь в игре за

внутриигровую валюту)

5) Распределение прогресса компании при совершении апдейта (какой был

прогресс компании когда этот апгрейд был совершен), дополнительно

необходимо добавить выбор апгрейда по которому показывать статистику

6) Распределение покупок по прогрессу кампании

7) Распределение апгрейдов после инапов (что игрок купил после инапа,

первая покупка)

Далее все данные должны иметь возможность сегментации по пользователям

и уровням, архитектура сегментации должна позволять легко добавлять

новые фильтры. Стартовый список фильтров смотри ниже.

8) Распределение валюты у игрока при первом старте уровня

9) Распределение валюты у игрока при первом выигрыше уровня

10) Распределение количества попыток пройти уровень до первой победы

11) Распределение количества побед на уровне

12) Среднее количество использованных предметов на уровне, отдельно по

каждому из предметов

Сегментация:

Стартовый набор фильтров для пользователей (пп. II.2-II.7)

1) Интервал даты регистрации

2) Наличие юнита (юниты - это персонажи, которыми играет игрок, часть

из них тоже покупается за внутриигровую валюту)

3) Наличие апдейта у юнита (например, у Кактуса - снайперская винтовка

такого-то вида)

4) Платящий ли?

5) Читер ли?

6) Интервал прогресса компании

Стартовый набор для уровней (пп. II.8- II.12) - это добавление к

предыдущему набору фильтров интервала номера уровня

Было бы также здорово показывать наружу сгенерированный SQL подзапрос

фильтра для возможности использования его руками уже в своем запросе.

--- Конец постановки задачи ---