Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

Эксперименты от компании devtodev.

На конференции DevGAMM в мае 2019 года компанию devtodev пригласили провести аналитический трек, в котором приняли участие представители компаний Playkot, NX Studio, Mail.Ru Group, Crazy Panda, Belka Games, Kefir, SkyEng, AIC и Azur Games.

Организацией занимался ведущий аналитик и сооснователь сервиса devtodev Василий Сабиров. В своей статье для DTF он рассказал о том, в какие эксперименты (в том числе и тайные) аналитики вовлекли посетителей трека, какие гипотезы им удалось подтвердить и как результаты могут помочь в монетизации игр.

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

План эксперимента

Мы подготовили программу из нескольких докладов и круглых столов, а также заготовили небольшой сюрприз. Весь день на сцене стоял чемодан с конфетами, всем желающим было предложено угадать, сколько в нём конфет (мы заранее их посчитали). И тот, кто угадает или окажется ближе всего к истине, должен был забрать с собой и чемодан, и конфеты. Для ответа на вопрос необходимо было заполнить Google-форму, доступную по QR-коду. Так это выглядело снаружи.

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

На самом же деле всё было несколько хитрее.

  • Во-первых, QR-кодов было два, и это был A/B-тест. Чем отличались формы, я расскажу чуть позже.
  • Во-вторых, в обеих версиях формы, помимо вопроса о чемодане конфет, расположенного в списке последним, было ещё несколько вопросов, основная часть из которых была обязательной. Таким образом, мы хотели попутно протестировать ещё несколько интересных гипотез.

В итоге в конце дня мы прочли доклад, в который вставили результаты опроса. Почти все гипотезы, которые мы проверяли, были подтверждены.

Пара дисклеймеров

Но сначала несколько технических моментов. Мы сразу понимали, что никакой речи о статистической значимости и быть не может. Мы ориентировались на 100 респондентов (и почти угадали), а на таких масштабах едва ли можно рассчитать t-тест, z-тест и все прочие тесты.

Чтобы в каждой из групп теста было примерно одинаковое число респондентов, нам пришлось потрудиться. Мы разместили в зале два роллапа, на каждом из которых был указан свой QR-код. Флаеры, которые раздавались публике, были тоже двух видов.

По истечении нескольких часов мы увидели, что число респондентов в группе «A» значительно превосходит группу «B», и было принято решение поменять роллапы местами, а также заменить флаеры на новые. Это немного выровняло статистику, однако пришлось привести нескольких людей буквально за руку и дать им нужный флаер.

В конечном счёте, всё получилось, и сейчас самое время рассказать об этом.

Общие данные

Всего у нас было 103 респондента, из которых 77 — мужчины, а 26 — женщины. У нас был ещё вариант «предпочитаю не указывать», но его никто не выбрал.

<p>51 респондент оказался в группе «A», 52 — в группе «B». </p>

51 респондент оказался в группе «A», 52 — в группе «B».

Эффект приманки

Из поведенческой экономики известен так называемый «эффект приманки» (decoy effect). Суть его в том, что, совершая выбор между двумя вариантами, респондент встает перед проблемой выбора и часто выбирает более дешёвый. Тогда вводится третий, заведомо невыгодный вариант. Отвергая его, респондент с большей вероятностью принимает решение в пользу одного из двух других вариантов. Притом можно добиться того, чтобы в среднем выбирали более дорогой вариант. Подробнее о классическом примере эффекта приманки с подписками на журнал можно прочесть здесь.

Дело в том, что наш ленивый мозг, выбирая между вариантами A и B, слишком далекими друг от друга, чтобы их сравнивать, будет очень сильно напрягаться. А напрягаться он не особо любит. И чтобы ему помочь, к вариантам A и B добавляется вариант -A. Между A и -A выбор делается легко в пользу А, при этом по инерции A выигрывает сразу и у B.

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

Эксперимент 1: Крис Хэмсворт и Райан Гослинг

Мы решили проверить эффект приманки следующим образом. Группе «B» было предложено выбрать, кто из мужчин кажется им более симпатичным, Крис Хэмсворт или Райан Гослинг (для того, чтобы выбрать, какие именно мужчины попадут в опрос, пришлось гуглить «top sexiest men 2019», и я никогда бы не подумал, что это придётся делать по работе). В итоге голоса распределились вот так.

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

Крис Хэмсворт победил. Вероятно, это как-то связано с тем, что в мае в прокате как раз были последние «Мстители», где он снимается.

Ну а в группе «A» мы добавили ещё один вариант, и выбор был из трёх картинок: Райан Гослинг, «помятый» Райан Гослинг и Крис Хэмсворт. И вот, что у нас получилось.

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

Как мы видим, «помятый» Гослинг позволил обычному Гослингу занять первое место в опросе. Нашлись, конечно, и те, кто проголосовал за «помятого», ну да бог им судья.

Кстати говоря, попутно мы выяснили, что мужчинам больше нравится Гослинг, а женщинам — Хэмсворт.

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

Эксперимент 2: цена на попкорн

Как же применить этот метод для монетизации? Этому был посвящён наш следующий эксперимент.

Группе «А» было предложено выбрать один из двух стаканов попкорна: маленький за 100 рублей и большой — за 200.

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

Для группы «B» был выбор из трёх позиций:

  • маленький — 100 рублей;

  • средний — 180 рублей;

  • большой — 200 рублей.

Как видим, средний вариант по цене ближе к большому, его задача — оттенить внимание в большую сторону.

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика
Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

Видим, что средний вариант со своей задачей вполне справился. Его добавление позволило поднять средний чек со 136,5 рубля до 161,9 рубля, то есть на 19%. Ещё раз: мы просто добавили один price point, и чек только от этого вырос на 19%.

Эффект якоря

Далее, мы хотели проверить эффект якоря. Его суть заключается в том, что если заранее установить респонденту «якорь» на некоем численном значении, то в будущем при какой-либо численной оценке респондент будет отталкиваться от «якоря». Подробнее об эффекте можно прочитать здесь (обратите особое внимание на классический эксперимент с долей африканских стран в ООН).

Эксперимент 3: удержание в гоночных играх

Чтобы проверить эффект якоря в нашем эксперименте, мы задавали следующий вопрос.

Для группы «A». По данным progamedev.net, медианный показатель удержания первого дня (day 1 retention) у игр жанра Trivia — 35%, World — 38%, Casino — 34%. Как бы вы оценили медианный показатель day 1 retention у игр жанра Racing?

Для группы «B». По данным progamedev.net, медианный показатель удержания первого дня (day 1 retention) у игр жанра Simulation — 22%, Action — 24%, Adventure — 24%. Как бы вы оценили медианный показатель day 1 retention у игр жанра Racing?

Как видите, у группы «B» «якоря» стояли на более низких значениях, чем у группы «A». Повлияло ли это на оценку day 1 retention у игр жанра Racing?

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

Повлияло, и более чем.

Эксперимент 4: оцениваем стоимость вина

А что, если респондент сам установит себе «якорь»? Для этого мы попросили респондентов сначала указать последние две цифры их номера телефона (по сути, случайное двузначное число). А затем мы попросили их оценить стоимость одной и той же бутылки вина (в долларах). И вот, что получилось.

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

То есть те, кто ранее написал меньшее значение (от 00 до 20), имели тенденцию более низко оценивать стоимость бутылки, чем те, кто ранее написал значение от 80 до 99.

Закон больших чисел

Наконец, мы решили проверить работу закона больших чисел. Мы рассчитывали, что если попросим респондентов оценить некое значение, то средняя оценка по выборке будет близка к фактическому значению.

Эксперимент 5: когда родился Ньютон?

Для начала мы попросили оценить год рождения Исаака Ньютона. Ньютон родился в 1643 году, но респондентов мы очень попросили не «гуглить» это.

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

В целом, видно, что средняя оценка начала приближаться к факту. И, вполне вероятно, что если бы респондентов было больше, то она бы приблизилась ещё сильнее.

Эксперимент 6: чемодан конфет

Наконец, вернёмся к нашему чемодану с конфетами. И это единственный эксперимент, который нам не удался. По непонятной нам причине средняя оценка в определённый момент взяла устойчивый тренд на рост.

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

В чемодане было 544 конфеты, и нашёлся человек, который угадал это с точностью до одной конфеты (девушка по имени Алина назвала число «543»). Чемодан нашёл своего владельца, конфеты — тоже. Поздравляем Алину ещё раз!

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика

В конце мне хочется сказать, что законы поведенческой экономики, кажется, работают. Мы видим в ней ещё один ракурс, под которым стоит рассматривать работу над продуктами и их монетизацию. При правильном применении этих законов можно повысить средний чек, не меняя лояльности пользователей. Так что используйте поведенческую экономику во благо, но всё же будьте аккуратны — лояльность может оказаться дороже.

6868
14 комментариев

Комментарий недоступен

5
Ответить

Да, конечно. Мы работали с очисткой выбросов, вычищали из ответов наиболее вопиющие случаи и не брали их в расчёт.
Прочие же эффекты "от балды" (например, когда респондент отвечает просто наугад) должны нивелироваться, а точнее выравниваться за счёт случайного разбиения респондентов по группам.

2
Ответить

офигенно интересная статья, спасибо.

2
Ответить

А как она поможет нарративному дизайнеру или сценаристу?

Ответить

Исследование напомнило книгу Даниела Канемана "Думай медленно... решай быстро", изложены те же гипотезы и выводы

Ответить

Да, тут есть идеи нескольких авторов.
Даниэл Канеман "Думай медленно, решай быстро"
Роберт Чалдини "Психология влияния"
Дэн Ариэли "Предсказуемая иррациональность"
и несколько книг Ричарда Талера.

2
Ответить

не очень подробная статья, не понятно какие методы отсеивания использовались, и каким образом такое небольшое количество людей вошло в выборку, потому что 100 человек ну это скорее про погрешность, я не силен ни в психологии, ни в экономике, но мне так кажется, а эксперименты интересные, про то как надуть людей и получить от них выгоду, от их бессознательного восприятия.

Ответить