Из отзывов пользователей разработчик понял, что в приложении неправильный туториал. Он убежден, что сейчас исправит все ошибки, и метрики возрастут. Если улучшение должно поднять метрики — получается, ухудшение должно их “уронить”? Раз так, можно ухудшить туториал и посмотреть, насколько метрики реально поддаются изменениям. Уже после того, как разработчик убедился, что изменения имеют смысл, можно приступать к улучшению элемента, вкладывая в это силы, время и деньги.
Как обычно, аккуратно обходятся две вечные проблемы аб тестов, а именно:
- Непонимание разницы абтестов и фича тоглов у манагеров. Со временем, на любой чих и пых сразу вешается аб тест просто потому что это может дать информацию о влиянии на выручку. Даже есть это цвет кнопки или словесная формулировка на заглушке.
- Неконтролируемый рост аб тестов пропорциональный количеству заинтересованных в них манагеров. Как следствие, захламление проекта и отсутствие поддержки. Я не раз уже видел аб тесты на вещи, которые уже как сто лет выпилены в рамках какого-нибудь рефакторинга.
Самый краткий курс продакт-менеджмента: либо ты выясняешь, как фичи влияют на выручку, либо ты не продакт, а фокусник.
А вообще рад слышать, что где-то есть альтернативная реальность, в которой бедные замученные разработчики горбатятся под грузом сплитов. В нашем немытом геймдеве частенько херачат фичи по живому, а эффект оценивают цыганским обрядом гадания на аплифтах.
Но мир не стоит на месте, а тесты штука полезная. Даже цвета кнопочек иногда влияют (хотя заморачиваться с ними я, конечно, не советую).
Прям по живому режешь)
Комментарий недоступен
Так статья-то написана по вебинару совместному с Апбустер, где они рассказывали про свои тулы)
Комментарий недоступен
Ну, если подумать - а кто еще этим должен заниматься, и для чего вообще кормят SMM в штате?)