Ярослав, при всем уважении в кашему мнению, не соглашусь. Метрики - отлично, но мало. Они не говорят почему и как, они говорт сколько. Всё остальное - сугубо гипотеза, пока не будет проверено на практике. Сопоставив затраты на ряд итераций по поиску возможного улучшения (эдакая угадайка) и время (месяцы) с бюджетом на плейтест (минимум в 4 раза дешевле), временем (к непосредственно сбору данных 2 дня на подготовку и 4 дня на обработку), а также наличие глубоких объяснений, становится очевидно, что статистика и плейтсеты работают только в паре, но никак НЕ ЗАМЕНЯЮТ друг друга.
И еще. Придумывать - задача гейм-дизайнера. Определять хорошо или плохо - задача игрока. Ни в коем случае не наоброт.)
Валентин, ответил чуть выше. Да, есть этому разумное объяснение. Во-первых, мы не претендуем на точность численных показателей. Во вторых, размер выборки в статистике и выборки для качественного исследования - не одно и то же в силу этапа скрининга участников.
Вадим, вы правы. Тут речь не о статистике, тем более не о точности численных показателей.
Вопрос, на который мы отвечали - а можно ли было сделать Clash Royale лучше? Если да, то как именно, какими именно действиями?
Заодно получилась хорошая инструкция для тех, кто делает "клон, только лучше" - мы выявили, что именно можно сделать, чтобы было лчуше в глазах целевой аудитории.
Кроме всего, если вы можете, профильтруйте 500 человек, о которых вы упомянули, по параметрам возраста, пола, девайса, опыта в играх-референсах, частоте играния, продолжительности игровых сессий, выделите сугубо ядро ЦА, и посчитайте. сколько останется в нем людей.
Вот по этому количеству и нужно определять погрешность измерения. Если проделать обратный процесс с нашими 36, прошедшими все фильтры, то привычный вам размер выборки беспристрастной статистики составит тысячи человек.
Алексей, я CEO Sense.Vision - пардон, что не ответил сразу, я пропустил выход статьи. Достаточно ли велика выборка, зависит от поставленных целей. Если речь идет о математике, настройке долей процентов в системе монетизации, то наша выборка точно мала, чисто из соображений науки статистики. Если речь идет о выявлении инсайтов, причин, моделей поведения, трендов, поиске точек роста и описания необходимых изменений - этой выборки вполне достаточно.
Этника Разница в игровом поведении украинцев и азиатов, например, будет очевидна даже на такой выборке. Разница в поведении по сравнения с американцами, например, - только на тысячных выборках. Покупки - отдельная история в силу разной ценности $1 в сопоставляемых регионах. Ряд проектов мы проводили сразу в нескольких странах по одинаковому сценария (разработчиков не могу назвать из-за NDA), выборки более 80 участников.
То, что вы назвали качеством, называется правильно "точность измерения". Я не претендую на высокую точность численных показателей, погрешность цифр высока, вы правы. Зато мы добились глубины. И по сравнению с системами статистики, отвечающими ИСКЛОЮЧИТЕЛЬНО на вопрос "сколько?", мы отвечаем на вопросы "Как? Почему?".
Ярослав, при всем уважении в кашему мнению, не соглашусь.
Метрики - отлично, но мало. Они не говорят почему и как, они говорт сколько. Всё остальное - сугубо гипотеза, пока не будет проверено на практике. Сопоставив затраты на ряд итераций по поиску возможного улучшения (эдакая угадайка) и время (месяцы) с бюджетом на плейтест (минимум в 4 раза дешевле), временем (к непосредственно сбору данных 2 дня на подготовку и 4 дня на обработку), а также наличие глубоких объяснений, становится очевидно, что статистика и плейтсеты работают только в паре, но никак НЕ ЗАМЕНЯЮТ друг друга.
И еще.
Придумывать - задача гейм-дизайнера.
Определять хорошо или плохо - задача игрока.
Ни в коем случае не наоброт.)
Валентин, ответил чуть выше. Да, есть этому разумное объяснение.
Во-первых, мы не претендуем на точность численных показателей.
Во вторых, размер выборки в статистике и выборки для качественного исследования - не одно и то же в силу этапа скрининга участников.
Вадим, вы правы. Тут речь не о статистике, тем более не о точности численных показателей.
Вопрос, на который мы отвечали - а можно ли было сделать Clash Royale лучше? Если да, то как именно, какими именно действиями?
Заодно получилась хорошая инструкция для тех, кто делает "клон, только лучше" - мы выявили, что именно можно сделать, чтобы было лчуше в глазах целевой аудитории.
Кроме всего, если вы можете, профильтруйте 500 человек, о которых вы упомянули, по параметрам возраста, пола, девайса, опыта в играх-референсах, частоте играния, продолжительности игровых сессий, выделите сугубо ядро ЦА, и посчитайте. сколько останется в нем людей.
Вот по этому количеству и нужно определять погрешность измерения.
Если проделать обратный процесс с нашими 36, прошедшими все фильтры, то привычный вам размер выборки беспристрастной статистики составит тысячи человек.
Алексей, я CEO Sense.Vision - пардон, что не ответил сразу, я пропустил выход статьи.
Достаточно ли велика выборка, зависит от поставленных целей.
Если речь идет о математике, настройке долей процентов в системе монетизации, то наша выборка точно мала, чисто из соображений науки статистики.
Если речь идет о выявлении инсайтов, причин, моделей поведения, трендов, поиске точек роста и описания необходимых изменений - этой выборки вполне достаточно.
Этника
Разница в игровом поведении украинцев и азиатов, например, будет очевидна даже на такой выборке.
Разница в поведении по сравнения с американцами, например, - только на тысячных выборках. Покупки - отдельная история в силу разной ценности $1 в сопоставляемых регионах.
Ряд проектов мы проводили сразу в нескольких странах по одинаковому сценария (разработчиков не могу назвать из-за NDA), выборки более 80 участников.
То, что вы назвали качеством, называется правильно "точность измерения". Я не претендую на высокую точность численных показателей, погрешность цифр высока, вы правы.
Зато мы добились глубины. И по сравнению с системами статистики, отвечающими ИСКЛОЮЧИТЕЛЬНО на вопрос "сколько?", мы отвечаем на вопросы "Как? Почему?".
У нас с качеством всё более чем отлично )