Как организовать работу UX-лаборатории на удалёнке — опыт Wargaming

Исследования в домашних условиях.

UX-исследования — важная часть разработки игры, позволяющая проверить те или иные её аспекты. Обычно студии создают специальные лаборатории для неё, которые позволяют следить за игроками, изолировав их от воздействия внешних факторов. Однако в период пандемии разработчикам пришлось искать новые способы проведения таких исследований. Тимлид команды UX-исследователей в Wargaming Андрей Лизун поделился опытом работы на удалёнке

Отдел UX-исследований в Wargaming занимается качественными исследованиями пользовательского опыта. Речь идет о тестировании интерфейсов на предмет удобства использования, поиске барьеров взаимодействия, которые мешают игрокам достигать своих целей. Для этого исследователи приглашают реальных игроков в офис, предоставляют доступ к игровым обновлениям и наблюдают за тем, как они это делают. На основании этих данных делается заключение, насколько все хорошо или плохо с интерфейсами продуктов.

Немного о лаборатории Wargaming, от которой пришлось отказаться на время пандемии, и которой нам очень не хватало. В ней есть всё, чтобы осчастливить любого UX-исследователя.

Звучит круто, да? Вот и нам с коллегами очень нравилось пользоваться всем этим. Краеугольный камень наших исследований — это то, что мы приглашаем нашу целевую аудиторию. В тесте участвует реальный игрок, именно он и будет пользоваться нашей новинкой в будущем. Не менее важно и то, что мы проводим исследования в нашей собственной лаборатории, прямо в офисе. По крайней мере, это было важно раньше.

Прошедший «чудесный» год подарил нам две волны коронавируса. В условиях пандемии проводить исследования в офисе стало невозможно. Под угрозой оказался один из основных принципов — проведение исследований в лаборатории. Тем не менее игровая индустрия не только не остановилась в период пандемии, но и в каком-то смысле активизировалась — а значит, нам нужно было оперативно перевести работу в удалённый режим.

Это оказалось серьёзным вызовом, ведь мы не могли остановить исследования, или снизить качество получаемых результатов. Процесс производства главного развлечения периода локдауна — компьютерных игр — не должен давать сбоев.

Сложностей пандемия прибавила немало. Полностью перенести в онлайн функции лаборатории не получилось. Пришлось оставить до лучших времён использование eye-tracker и биометрического оборудования, а также приостановить тестирование уж очень секретных проектов. Если вдруг у читателей этой статьи есть идеи, как безопасно реализовать эти функции на удалёнке — приглашаем к дискуссии в комментариях.

Итак, перейдём к проблемам, которые удалось полностью или частично решить.

В нашей работе очень важно, чтобы между модератором и респондентом был личный контакт, доверие и понимание. При личном контакте в лаборатории этого можно довольно легко достичь, но при «удалённом тесте» становится куда сложнее. Общение с экраном — это совсем не то же самое, что общение с живым человеком, который сидит перед тобой.

Решение: если честно, на 100% эта проблема не решается, но можно её смягчить. Уделите больше времени общению респондента и модератора до теста, пусть они пообщаются в два-три раза дольше, чем перед аналогичным этапом во время теста в лаборатории. По возможности дайте модератору и респонденту познакомиться ещё до теста.

В UX-исследованиях крайне важно слышать игрока и понимать что он говорит. Не в смысле «чувствовать эмоционально» (хотя и это тоже), а в буквальном смысле. Общение — основной наш инструмент. В лаборатории этому уделено особое внимание. Игрок и модератор находятся в разных комнатах, но слышат друг друга без задержек и кристально чисто.

Когда же мы начали тестировать удалённо — начались проблемы. На первых тестах у игроков со звуком случалось вообще всё, что можно только представить: не работали микрофоны, были прерывания, было слишком тихо, появлялись шипения и прочие неприятности.

Решение: во-первых, мы стали связываться с респондентом до теста и устраивать техническую проверку связи, стабильности соединения и так далее. Это происходит за пару часов до теста, или даже ещё раньше. Если на этой проверке появлялась какая-либо проблема, то мы помогали респонденту её решить.

Во-вторых, если проблему со звуком решить не получалось, то мы использовали заготовленный ранее вариант сценария теста с минимальным количеством разговоров с респондентом. Раз есть проблемы с общением — давайте сведём это общение к минимуму.

В основном мы тестируем игры и фичи, которые ещё не вышли в релиз. Естественно, это всё секретные вещи, которые очень важно не слить в сеть. В лабе у нас всё безопасно: игрок никак не может с собой унести объект исследования, что-то сфотографировать или записать видео. При этом нам сначала было не понятно, как на удалённом тесте безопасно дать игроку возможность работать с интерфейсами или играть бои, при этом не передавая ему дорелизный билд.

Решение: и вот тут появляется истинный герой 2020 года — Zoom. С его помощью модератор связывается с респондентом. На компьютере модератора запускается объект тестирования, после чего управление передается игроку. Таким образом, игрок работает с интерфейсами на компьютере модератора, мы ничего не передаём на компьютер игрока и у него не остается никаких исходников.

Сложнее обстоят дела, когда нам нужно, чтобы игрок во время теста выходил в бои. Передача управления в Zoom очень плохо работает в таких ситуациях — комфортно играть очень тяжело, сильно проседает FPS. Для таких случаев мы используем программу удалённого доступа.

Это ПО даёт удалённый доступ к компьютеру модератора, где и запускается бой. Parsec работает значительно лучше, чем Zoom в плане комфорта игры.

В лаборатории есть специальный софт для ведения протокола исследования, который синхронизируется с видео. При обработке информации это позволяет быстро переходить к моменту теста, к которому был сделан комментарий.

Это очень упрощает процесс: например, во время теста мы увидели что-то странное и модератор сделал пометку, что нужно этот кусок видео пересмотреть. На этапе обработки модератор видит этот комментарий, в один клик открывает нужный момент видео и пересматривает. В удалённых тестах такое ПО недоступно.

Решение: всё на самом деле очень просто — нужно только быть «уверенным пользователем Microsoft Office». Во-первых, нужно сделать возможность простановки таймкода одной кнопкой. Например, это можно сделать макросами в Excel.

Во-вторых, нужно определить момент в сценарии, по которому на этапе обработки будет синхронизироваться видео и протокол. В самом простом варианте реализации это выглядит так: запускаем запись видео, ждём момента, по которому будем выравнивать видео и протокол (например, игрок нажимает кнопку Login), одновременно с нажатием кнопки модератор создаёт событие в протоколе с указанием его времени. Перед обработкой нужно выровнять тайминги.

В итоге у нас на руках есть видеофайл и протокол событий с указанием времени по часам системы. Теперь нужно синхронизировать время в видеофайле и протоколе. Находим в протоколе событие нажатия кнопки Login (например, время там 11:45:33), и смотрим, какое время этого события в видеофайле (например это 23 секунда видео). Пишем простую формулу в «экселе», которая поменяет время в протоколе с 11:45:33 на 00:00:23 и поменяет все другие последующие времена. Вуаля, в нашем протоколе все события соответствуют времени в видеофайле.

У наших респондентов могут быть очень разные сетапы «железа» по производительности и настройкам. В лаборатории респонденты пользуются нашими проверенными компьютерами, а дома может быть всё, что угодно. Например, игра не запустится или будет глючить, не окажется нужного компонента системы или кодека, или ещё что-нибудь произойдёт.

Решение: во-первых, заранее устраиваем проверку компьютера перед тестом. Проверяем производительность и наличие нужных компонентов системы, звук и видео — всё, что критично для проведения теста. Во-вторых, ещё на этапе рекрутинга респондентов добавляем в рекрутинговую анкету или передаем рекрутинговому агентству требования к компьютерам респондентов.

Во время теста бывают неловкие моменты, когда в трансляцию теста во время шаринга экрана респондента попадает всякое разное с рабочего стола игрока: например, личная переписка, неловкие картинки или видео, которое респондент не хотел бы нам показывать. Если такое происходит, то респондент смущается и чувствует себя неловко. Это выбивает его из колеи и отвлекает от исследования.

Решение: до теста рассказываем респонденту, что именно будет видно модератеру во время теста — например, рабочий стол или окна браузера. Исходя из этого просим респондента подчистить всё, что не должно попасть в кадр, и просим отключить мессенджеры.

В лаборатории респондентов достаточно просто контролировать.Они ведут себя предсказуемо и выполняют те действия, что необходимы для проведения исследования. Дома же респонденты более раскованны — например, могут встать и уйти на балкон покурить во время теста, потому что привыкли так делать во время игры. Это, мягко говоря, не очень положительно влияет на соблюдение регламента исследования.

Решение: заранее очень подробно и доходчиво рассказываем респондентам, что им нельзя отвлекаться во время теста. Не стесняйтесь попросить респондентов сделать все свои дела до тестовой сессии — например, сходить покурить или в туалет.

Ещё стоит до теста попросить респондента обосноваться в отдельной комнате и закрыть дверь, чтобы кошки и дети не мешали процессу. Акцентируем внимание на том, чтобы респондент постарался выбрать вариант, при котором параллельно с тестом в помещении никто не мог включить телевизор или фоновую музыку.

Иногда бывали случаи, когда обстановка не очень способствовала проведению исследования — например, на одном из тестов респондент сидел на балконе с бутылкой вина. Сложный был тест, модератору тоже захотелось бокальчик.

Сейчас будет пара проблем, которые могут возникнуть как у игроков, так и у модераторов, но решение у нас есть только для модераторов. Если у вас есть предложения, как решить эти проблемы и на стороне игрока — будем очень благодарны увидеть их в комментариях!

В офисной лаборатории никаких шумных соседей нет — она располагается обособленно, а наиболее любопытных коллег останавливает красная лампочка и надпись «Не входить, идет исследование». Сейчас же все участники исследований работают из дома. Как и в любом доме у них есть соседи, которые, как правило, в самое неподходящее время делают ремонт. Это происходит в любое время суток, непредсказуемо. Естественно, звук перфоратора сильно мешает общаться с игроком.

Решение: Есть два варианта, способные локализовать проблему на стороне модератора. Вариант номер один — работать в паре. На тесте работают два исследователя, которые в случае необходимости меняются местами. Вариант номер два — перед тестом подготовить мобильный сетап с ноутбуком, который можно взять с собой, уйти из дома и провести тестовую сессию из офиса, из съемной переговорки или на крайний случай из тихой кафешки.

Наши электросети не отличаются стабильностью. Если отключают электричество, а модератор к этому не готов то тестовой сессии не будет.

Решение: логично — используем источник бесперебойного питания такой ёмкости, чтобы заряда хватило на всю тестовую сессию от начала до конца.

Также через этот источник бесперебойного питания запитываем не только компьютер, но и модемы с роутерами. Если подключение к интернету невозможно обезопасить от отключения электричества, то предусматриваем альтернативный источник — например мобильный интернет, который можно быстро подключить к вашему сетапу.

В конце хотелось бы отметить, что некоторые положительные стороны у удалённых тестов всё же есть — это не только борьба с трудностями отсутствия лаборатории, но и новые возможности. Например, мы существенно расширили географию респондентов. При тестировании в лаборатории мы ограничены Минском и близлежащими городами, а сейчас можно привлекать людей и из более отдаленных локаций.

А, по-вашему, какие ещё возможности для исследований появились во время всеобщей удаленки?

#опыт #ux