Теперь, когда мы знаем, как предсказать и вычислить ранний отток, всё что нам осталось — научиться корректно измерять результаты. Чтобы понять разницу между двумя уведомлениями, лучше всего измерять результат через коэффициент кликов. Впрочем, если вы хотите знать общий эффект от ваших целенаправленных усилий, то вернее будет смотреть на удержание. Для этого необходимо разделить базу пользователей на три группы: контрольную, базовую и тестовую.

Логичным будет вопрос, почему таких группы три, а не две, как обычно это бывает: контрольная и тестовая? Ответ достаточно прост — в том случае вы не сможете определить, что именно влияет на пользователя, сами уведомления или их содержание. Реализация решения заключалась в том, что базовая группа получала нотификацию с общим контентом, а тестовая — с целевым.

Наконец, разрешите мне представить вам результаты, которые получились в рамках этого подхода.