Получить от людей значимые данные, свыше 70 лет, и наша группа старается использовать эти наработки. Само собой, не всякое психологическое исследование — хорошее исследование, точно так же, как и не всякий программный код — хороший код. Психологи — тоже люди, и результаты их работы отличаются по качеству.

Впрочем, существуют признанные методологические доктрины, которые доказали свою полезность, и наш процесс разрабатывался прежде всего по ним. Чтобы вы не уснули от скуки, я не буду пытаться уложить 70 лет исследований в этот доклад, а просто попробую описать ежедневную работу, которой занимается наша группа пользовательского тестирования.

Методы...
Группа тестирования предоставляет три главных сервиса: тестирование удобства использования, тестирование игрового процесса и обзоры. Ниже мы рассмотрим их подробно.

1. Тестирование удобства использования обычно связано с небольшими группами испытуемых, за которыми ведется наблюдение. В течение двух-трех дней нас посещают шесть-девять человек — они приходят на индивидуальные двухчасовые сессии. В типичном исследовании каждый из них проводит некоторое время, свободно изучая игру, а потом выполняет набор очень четко заданных задач.

Обычные результаты включают: комментарии пользователей, их поведение, время, затраченное на выполнение задач, а также частоту ошибок. Тестирование удобства использования — отличный метод для выявления проблем, о которых разработчики просто не подозревали, а также для того, чтобы понять мысли и чувства играющих и то, как они отражаются на их взаимодействии с игрой. Этот вид тестирования используется в программной индустрии уже немало лет. Его обычно относят к области человеко-машинного взаимодействия, а не к психологии, однако методы, которые в нем применяются, легко проследить до их корней в психологических исследованиях, так что можно смело отнести его к прикладной психологии.

2. Тестирование игрового процесса как правило ассоциируется с большими структурированными опросными листами, относящимися к первому часу игрового времени. Количество опрошенных обычно довольно велико (25-35 человек), чтобы можно было подсчитать достаточно надежные процентные отношения. Каждому испытуемому дается чуть больше 60 минут на саму игру и индивидуальные (без обсуждения с кем-либо) ответы на вопросы из структурированного опросника. Участники оценивают качество игры и предоставляют в свободной форме информацию в виде ответов на разнообразные вопросы как общего плана, так и специфичные для конкретного игрового жанра.

Такие методы лучше всего пригодны для оценки отношения игроков к проекту, их предпочтений, а также некоторых видов поведения — например, уровней сложности. Данная форма тестирования уже давно применяется в психологии, особенно в поведенческих исследованиях и изучении механизмов суждения и принятия решений.
3. Обзоры. На самом деле это еще одна версия обратной связи от профессионалов игровой индустрии. Однако обзоры потенциально более ценны, поскольку те, кто их пишет, являются специалистами по пользовательскому тестированию, имеющими прямой и более тесный контакт с настоящими игроками, чем большинство других профессионалов. Их работа в этом и заключается: наблюдать за пользователями и слушать их жалобы и похвалы. Кроме того, команды часто повторяют ошибки, которые уже встречались в других играх, поэтому опытный специалист по тестированию может помочь избежать уже известных подводных камней.

Результатом каждого из этих трех видов сервисов является отчет, посылаемый команде разработчиков, который тщательно документирует все проблемы, а также содержит рекомендации по их устранению. Мы считаем, что только сами разработчики должны ре-шать, будет ли исправлена проблема, и если да — то как именно.

Один важный элемент, отсутствующий в наших сервисах, — это фокус- группы. Мы верим (и это подтверждается исследованиями), что фокус- группы — отличный инструмент для генерации идей и т.п., но они не слишком хорошо подходят для оценок (например, нравится что-то людям или нет). Групповой подход влияет на получение индивидуальных мнений, а именно они нужны для получения цифровых оценок.

А теперь давайте посмотрим, как же наша система отвечает тем самым четырем критериям, о которых мы все время говорим. На мой скромный взгляд — просто замечательно.

1. Точное отображение мнения целевых игроков. Мы поставляем довольно точный, достойный доверия материал разработчикам, поскольку имеем огромную базу игроков (около 12000) и можем подобрать нужную группу для любой игры, нанимаем только людей со знанием экспериментальной или прикладной психологии, чтобы минимизировать влияние специалиста на испытуемых, а также тщательно документируем все обнаруженные закономерности и проводим повторные тестирования для определения достоверности нашей работы и исправлений, внесенных девелоперами.

2. Своевременность. Вся информация поставляется разработчикам довольно быстро — весь процесс занимает около шести дней для сбора начальных данных, и 11-14 дней проходит до получения полного отчета. Если тесты хорошо планируются, они могут быть привязаны к важным этапам в жизни проекта, чтобы максимизировать полезность обратной связи.

3. Детальность. Уровень детализации обратной связи в наших отчетах очень высок, поскольку тесты изначально спроектированы соответствующим образом. Специалист по тестированию обычно дает комментарии на уровне отдельных машин, отдельных треков, вызывающих проблемы, или конкретных фраз в интерфейсе игры, непонятных игрокам. Рекомендации тоже носят очень конкретный характер. Обычно тесты удобства использования дают около 40 рекомендаций, а игровые выявляют от 10 до 30 проблемных областей.

4. Относительная легкость получения обратной связи обеспечивается тем, что у нас есть один конкретный руководитель по пользовательскому тестированию и через него происходит и разработка тестов, и передача результатов. Обратная связь при этом довольно дешева, если сравнить ее с многомиллионными бюджетами современных игр. Да, общая стоимость нашего труда не так уж мала, но работа в больших масштабах делает затраты на каждую конкретную игру относительно невысокими.

29-09-2013, 15:05

---