Как по маслу: создание модели для прогноза успешности запуска мобильной игры

Результаты исследования о значимых атрибутах.

Многие разработчики стремятся заранее оценить успех своей игры. Однако это достаточно сложная задача, так как точный прогноз может дать лишь хрустальный шар. А в реальном мире остаётся уповать лишь на приблизительные данные.

Разработчики Абхиманью Кумар и Виктория Трэн из Flaregames опубликовали на сайте Deconstructor of Fun текст, посвящённый созданию прогноза количества загрузок на мобильных устройствах в первую неделю после релиза. Мы выбрали из материала главное.

Как по маслу: создание модели для прогноза успешности запуска мобильной игры

Каждая компания решает вопрос прогноза по-своему, но большинство из них по-умолчанию смотрят на похожие игры и на основе этого дают оценку. Такие показатели имеют достаточно низкую точность, а неправильная интерпретация делает прогноз совсем бесполезным.

Чтобы сделать правильный прогноз, необходимо учитывать целый комплекс факторов: жанр, визуальный стиль и масштаб фичеринга.

Эта гипотеза была подтверждена в исследовании, которое провели авторы текста.

Методология анализа

Методология проведённого исследования включала в себя этапы построения датасета (набора данных), статистического тестирования и генерации модели. Более подробные детали анализа:

  • было проанализировано более 150 игр, вышедших в период со 2 апреля по 27 сентября 2018 года;
  • каждая игра была оценена по трём атрибутам — жанру, визуальному стилю и масштабу фичеринга;
  • для проверки гипотезы был использован критерий Краскела — Уоллиса;
  • была построена модель линейной регрессии, в которой в качестве входных данных использовалась классификация переменных гипотетической игры по трём параметрам и выводился ожидаемый диапазон объёма установок за неделю или месяц.

Для построения базового датасета использовался сервис App Annie, предназначенный для сбора информации по установкам на iOS. Также предполагалось, что мировая статистика iOS совпадает с данными по США. Сам анализ был ограничен iOS-платформой.

Платные и популярные игры не учитывались в базовом датасете. К популярным относятся (но не ограничиваются ими) тайтлы, основанные на крупных фильмах, сериалах, известных людях и продолжениях оригинальных хитов. На первых этапах исследования такие игры также анализировались, но оказалось, что подобные результаты было очень сложно как-либо систематизировать. Был сделан вывод, что число факторов, влияющих на количество установок популярных игр, выходит за рамки этого исследования.

Атрибуты

Каждая игра в датасете была классифицирована в соответствии с тремя переменными — жанру, визуальному стилю и фичерингу.

Как по маслу: создание модели для прогноза успешности запуска мобильной игры

Для категории жанра была использована таксономия, разработанная Game Refinery и Майклом Каткоффом. Например, «Casual» — это категория, «Arcade» — это жанр, а «Platformer» — это поджанр. Поджанры не вошли в исследование, так как датасет был ограниченным, а сложная классификация не давала практических результатов. Тем не менее следует отметить, что поджанры определённо могут использоваться для больших датасетов.

Как по маслу: создание модели для прогноза успешности запуска мобильной игры

Доказательство гипотезы

Используя критерий Краскела — Уоллиса, применительно к первой неделе после запуска, изначальная гипотеза была подтверждена. Она была расширена, чтобы доказать аналогичную связь с количеством установок в первый месяц после запуска. Каждая переменная показала разную степень статистической значимости.

Как по маслу: создание модели для прогноза успешности запуска мобильной игры

Хотя «Визуальный стиль» является наименее важным по сравнению с остальными, ожидается, что это изменится, так как размер базового набора данных продолжает увеличиваться. То же самое и с «Жанром». Стоит отметить, что каждый аспект крайне важен независимо от его степени влияния.

Учитывая результаты, приведённые в таблице, авторы:

  • выявили зависимость количества загрузок от значимости отдельных аспектов;
  • создали модели, которые используют эти переменные с различной интенсивностью, чтобы сделать эффективный прогноз.

Ниже представлена визуализация примерного количества установок в первую неделю в зависимости от той или иной переменной. Синие столбцы представляют средние значения, а чёрные — диапазон чувствительности.

Как по маслу: создание модели для прогноза успешности запуска мобильной игры

Интересным наблюдением является то, что большой фичеринг не обязательно приводит к самым высоким показателям. Это подтверждает тот факт, что во всей этой системе задействовано больше переменных, которые влияют на принятие решения о загрузке у аудитории.

Можно ли уже сейчас заглянуть в будущее?

Следующим шагом было построение модели, которая делает приблизительный прогноз количества загрузок для гипотетических игр. Следует отметить, что датасет из более чем 150 игр недостаточно велик для создания стабильных прогностических моделей.

Тем не менее исследователи создали простую модель линейной регрессии, в которой использовались три переменные в качестве входных данных. Она тестировалась на популярных играх, которые не рассматривались в базовом датасете. Разработчики надеялись получить результаты, которые оправдали бы построение сложной статистической модели.

Ниже представлено сравнение между прогнозируемым объёмом установок из созданной модели и фактическими данными в соответствии с оценками загрузок App Annie.

Синие столбцы — прогноз, оранжевые столбцы — реальные данные
Синие столбцы — прогноз, оранжевые столбцы — реальные данные

Как видно выше, была доля хороших и плохих прогнозов со средней разницей в диапазоне плюс-минус 50 тысяч. В основном это обусловлено очень примитивным дизайном модели и небольшим датасетом. Можно получить большую точность, если постепенно увеличивать размер базового набора данных. Поиск баланса между сложностью структуры модели и затратами времени на её создание является ключевым фактором.

Хоть авторы исследования и добились определённого результата в прогнозировании количества загрузок, они рассчитывают в будущем включить в модель такие факторы, как бренд, платформа, тема, размер приложения и рынок. Благодаря этому, точность прогноза должна только возрасти.

4141
22 комментария

В модели не учтён самый главный атрибут успешной мобилки. Иконка с кричащей вправо физиономией.

21
Ответить

Комментарий недоступен

4
Ответить

Комментарий недоступен

7
Ответить

Хз за что минусуют. Мемы тут всегда выбиваются в топ, как и статьи про хейт, кранчи и т.п. (остросоциальные темы). А всякие исследования со сложными диаграммами мало кого цепляют, в принципе всё как везде. Чем проще и смешнее- тем людям интереснее.

1
Ответить

Всмысле не нужны? А под какими ещё статьями псевдоинтеллектуальным личностям обсирать других пользователей и показывать своё превосходство?

Ответить

Картинки все размытые.

5
Ответить

Комментарий недоступен

3
Ответить