Тестирование интервью, опроси в UX исследованиях

Тестирование: интервью, опросы

Содержание

1. Вступление
2. Что такое UX исследование

• количественные методы исследования
• качественные методы исследования

3. Интервью

• направленное интервью
• неориентированное интервью
• этнографическое интервью

4. Советы по правильному интервьюированию пользователей 

4.1 Подготовка вопросов к интервью

• Начните с определения общих тем
• Разбейте ваши вопросы таким образом, чтобы на них было легко отвечать
• Не задавайте наводящих вопросов, которые могут повлиять на ответ
• Спрашивайте о конкретных моментах из опыта пользователя
• Приоритизируйте открытые вопросы

4.2  Пример списка вопросов для направленного интервью

         4.3   Начало интервью

4.4   Во время интервью

5.  Опросы в проектировании UI/UX и разработке продукта 

5.1 Когда проводить опрос

5.2 Готовые опросники

5.3 Свои опросники

5.4 Как найти респондентов

5.5 Составление опроса и как не нужно делать

5.6 Пилотное исследование

1. Вступление

В отрасли, посвященной людям, которые используют наши продукты, услуги и приложения, исследование имеет первостепенное значение. Мы задаем вопросы. Мы принимаем к сведению. Мы узнаем все, что можем о целевой аудитории, а затем итеративно проверяем нашу работу на протяжении всего процесса проектирования.

UX-исследование или, как его иногда называют, исследование дизайна, служит многим целям в процессе проектирования. Оно помогает нам определить и подтвердить или опровергнуть наши предположения, найти общие черты в членах нашей целевой аудитории, распознать их потребности, цели и ментальные модели. В целом, исследование одушевляет нашу работу, улучшает наше понимание, и подтверждает наши решения.

2. Что такое UX исследование

UX исследование охватывает множество исследовательских методов, используемых для добавления контекста и понимания процесса проектирования. В отличие от других областей UX, исследования не развивались из каких — то других областей. Оно просто было принесено из других форм исследования. Другими словами, люди, использующие UX, позаимствовали многие техники у академиков, ученых, маркетологов, и других. Тем не менее, все еще существуют типы исследований, которые являются достаточно уникальными для мира UX.

Основной целью исследования дизайна является одушевление процесса проектирования с точки зрения конечного пользователя. Именно исследование не дает нам создать что-либо для себя самого. Почти все согласны, что целью UX является дизайн, ориентированный на конечного пользователя, его исследование, которое говорит нам, кем этот человек является, в каком контексте он будет использовать этот продукт или услугу, и что ему нужно от нас.

Исследование состоит из двух частей: сбор данных, и их обобщение, которое улучшит удобство и простоту использования. На старте проекта, исследование дизайна сосредоточено на изучении того, что и кому вообще от проекта нужно, а также изучении потребностей и целей конечных пользователей. Исследователи будут проводить опросы, собирать исследования, смотреть за потенциальными, или текущими пользователями, а также просматривать литературу, данные или аналитику. Затем, итеративно, в процессе проектирования, фокус исследования будет смещаться в сторону практичности и чувственности. Исследователи могут проводить тесты юзабилити или A/B тесты, интервьюировать пользователей о процессе, и, главное, проверять предположения, которые позволят улучшить дизайн.

Мы также можем разделить методы исследования UX на два лагеря: количественные и качественные.

• Количественным исследованием является любое исследование, которое может быть измерено численно. Оно отвечает на такие вопросы, как «сколько людей сюда кликнуло?» или «какой процент пользователей в состоянии найти призыв к действию?» Оно важно для понимания статистических вероятностей и того, что происходит на сайте или в приложении.
• Качественное исследование иногда называют «мягким» исследованием. Оно помогает нам понять, почему люди делают то, что они делают, и часто принимает форму интервью или беседы. Обычно задаются вопросы, вроде, «почему люди не видят призыв к действию» и «что еще люди замечают на странице?»

Несмотря на то, что исследователи могут специализироваться на конкретных типах интервью или тестов, большинство из них разбираются во многих техниках. Все исследователи собирают ценную информацию, которая позволяет нам проектировать в одушевленной, контекстной, ориентированной на пользователя манере.

3. Интервью

Очное интервью являются проверенным и надежным способом общения между исследователем и пользователем или одним, из заинтересованных сторон. Существуют три основных типа интервью, каждый из которых используется в разном контексте и с разными целями.

• Направленные интервью наиболее распространенный вид. Это типичное интервью вопрос-ответ, в котором исследователь задает конкретные вопросы. Оно может быть полезно при проведении интервью с большим числом пользователей, или при сравнении и сопоставлении ответов различных пользователей.

Цель интервью — подтвердить или опровергнуть гипотезы, которые важны для дальнейших действий по продукту: запуска пилота, старта продаж, разработки новой функции. Поэтому начинаем с формулировки таких гипотез.

Правильная гипотеза состоит из предположения, действия для проверки, метрики результата и вывода. 

Результат этого шага: одна или несколько сформулированных и проверенных гипотез. Их подтверждение или опровержение будет результатом проблемных интервью.

Инструмент: таблица со списком гипотез для проблемного интервью

Занесите гипотезы в таблицу по описанной выше схеме: предположение, действие для проверки, метрика результата и вывод. Идеально сделать это вместе с командой, чтобы учесть все мнения.

Помимо четырех главных составляющих гипотезы, мы добавили в таблицу еще три параметра: веру в гипотезу, сложность реализации и эффект. Они помогут расставить гипотезы в порядке приоритетности и первым делом взять в работу наиболее перспективные.

• Неориентированное интервью лучший способ узнать о субъектах повышенной чувствительности, где пользователей или заинтересованных лиц могут отпугнуть прямые вопросы. Проводя неориентированное интервью, интервьюер устанавливает некоторые грубые рамки и начинает разговор с интервьюируемым. Интервьюер будет в основном слушать во время этого «разговора», и говорить только, чтобы попросить пользователя или заинтересованное лицо предоставить дополнительную информацию или объяснить его точку зрения.
• Этнографические интервью заключается в наблюдении за тем, что люди делают, как они проводят свои будни в «естественной среде обитания». В такого рода интервью, пользователь показывает исследователю, как он выполняет определенные задачи, погружая интервьюера в культуру своего дома или работы. Это может помочь исследователю понять разницу между тем, что люди на самом деле делают, и то, что они говорят, что они делают. Оно также может пролить свет на то, что пользователи делают, когда они чувствуют себя наиболее комфортно.

4. Советы по правильному интервьюированию пользователей 

4.1. Подготовка вопросов перед началом интервью

• Начните с определения общих тем 

Это может звучать тривиально, но в первую очередь вам действительно нужно задуматься о том, что вы хотите получить в результате исследования.

На этом этапе подумайте о темах, которые вы хотите раскрыть, а не о конкретных вопросах. Убедитесь, что темы, которые вы хотите затронуть в беседе с пользователями, сообразуются с мнением остальной команды.

Вот некоторые примеры тем:

«Почему люди делают покупки онлайн?»

«Как люди делают покупки онлайн?»

«Чем по мнению ваших клиентов отличается онлайн и офлайн шопинг?»

• Разбейте ваши вопросы таким образом, чтобы на них было легко отвечать 

Вышеуказанные темы могут казаться одинаковыми, но существует фундаментальная разница между ними в том, что они пытаются раскрыть. Убедитесь, что вы согласовали с вашей командой общую цель исследования; это может сэкономить тонну времени в процессе реализации проекта. 

Примеры, приведенные выше демонстрируют темы, а не вопросы, которые вы фактически задали бы пользователю. Если бы вы все-таки так поступили, то получили бы очень общие, невнятные ответы. Следующим шагом будет разбивка конкретных вопросов, которые вы хотите задать пользователям, внутри каждой темы:

От: «Почему люди делают покупки онлайн?»

К:

«Какие категории продуктов вы покупаете онлайн?»

«Какие категории продуктов вы избегаете покупать онлайн? Почему?»

«Что вам нравится и не нравится больше всего при оформлении покупки?»

• Не задавайте наводящих вопросов, которые могут повлиять на ответ

Расхожая ошибка при формулировании вопросов для интервью – попытка ускорить процесс и получить ожидаемые ответы как можно скорее. Когда вы только входите в комнату для интервью, вполне вероятно, у вас уже есть идеи по поводу того, как пользователи будут отвечать на ваши вопросы; не позволяйте этим предположениям сбить вас с пути получения беспристрастных, объективных результатов.  

От:

«Насколько тревожно вы себя ощущаете, когда процесс покупки не может завершиться успешно?»

К:

«Попробуйте вспомнить последний раз, когда процесс оформления покупки по какой-то причине не мог быть завершен. Что вы чувствовали в этот момент?»

• Спрашивайте о конкретных моментах из опыта пользователя 

Ответы становятся менее общими и более однозначными, когда пользователи думают о конкретном времени, связанным с той или иной ситуацией. Вероятнее всего они дадут вам более достоверный и детальный ответ и будут действительно стараться вспомнить конкретный случай:

От:

«Что происходит у вас в голове, когда процесс покупки онлайн не завершается успешно?»

К:

«Расскажите, что происходило в вашей голове в последний раз, когда вы пытались купить что-то онлайн, и процесс покупки не завершился успешно.»

• Приоритизируйте открытые вопросы

Некоторые пользователи чувствуют себя очень комфортно на интервью, они дают вам вдумчивые и полные ответы без особого промедления. Но в некоторых случаях пользователи отвечают односложно. Это происходит не потому, что они ленивы или злы, просто у разных людей разные характеры. 

Для того, чтобы избежать непродуктивной сессии (или сессии, которая может закончиться очень быстро), убедитесь, что ваши вопросы подразумевают развернутый ответ. Дайте пользователям возможность формулировать ответы, а не отвечать односложно.

От:

«Что вы в последний раз купили онлайн?»

К:

«Расскажите мне, когда вы в последний раз что-то приобрели онлайн.»

4.2.  Пример списка вопросов для направленного интервью

Целью направленного интервью было узнать, какие проблемы испытывают клиенты при покупке бумажных книг на английском, а также как они их выбирают.

Гипотеза на проверку: человек испытывает трудности с заказом англоязычных книг на Amazon из-за долгой и дорогой доставки.

Если больше 70% опрошенных ответит о долгой и/или дорогой доставке книг с amazon, гипотезу считаем подтвержденной и запускаем интернет-магазин по продаже англоязычных книг.

1 блок: описание клиента

Где работаешь, какая твоя роль? Какая профессия, специальность?

Этот вопрос нужен для сегментирования, чтобы понимать портрет клиента.

Сколько книг читаешь в год?Сколько из них на русском языке, сколько на английском? Респонденту стоит задавать вопрос «Какие книги ты купил в этом году?», а потом сосчитать, чтобы получить более правдивые данные.

Какие книги ты купил в этом году? Сколько из них на русском языке, сколько на английском? Вместо вопроса «Сколько книг ты читаешь в среднем?» респонденту стоит задать этот и подобные вопросы, а потом сосчитать, чтобы получить более правдивые данные.

Какую конкретно книгу купил последней, какая — на очереди? Собираем статистику, чтобы узнать, какие книги читают в разных сегментах ЦА, и сформировать ассортимент будущего продукта.

Какой у тебя уровень английского?

Какое семейное положение? Собственное жилье/съемное?

Эти вопросы появились в скрипте после первых интервью, потому что у основателя родилась гипотеза, что женатые/замужние и/или живущие в съемных квартирах покупают бумажные книги реже остальных.

Сколько стоили книги, купленные в этом году? Стоит понять, сколько человек вообще тратит на такие товары, чтобы оценить рынок продукта.

2 блок: опыт клиента

Расскажи, как покупал последнюю книгу? Этим вопросом не ограничиваемся. Дальше нужно задать уточняющие вопросы — с такой детализацией, чтобы можно было снять фильм о том, как человек покупает книгу.

Какие сложности были в процессе покупки? В ответ на этот вопрос мы ждем, что клиент скажет: доставка стоила как полторы книги, что долго ждать доставку, что сложно заказывать на Амазоне. Но мы не наводим человека прямыми вопросами, а задаем абстрактный. 

Что ты сделал для того, чтобы преодолеть эти сложности? Здесь мы понимаем, насколько «болит» у человека — правда ли для него это проблема или просто некритичные трудности на пути.

Расскажи, как ты выбрал последнюю книгу — от момента, как узнал о ней, до момента покупки? Нам важно узнать каналы, по которым клиент выбирает книги, чтобы далее из них таких клиентов доставать. Мы ожидаем, что нам приведут конкретные примеры запросов в Гугле на поиск книг, на которые мы сможем сделать контекстную рекламу, или сообществ, в которых люди выбирают книги. 

3 блок: потребительский опыт

Для сегментации важно понять, каким был потребительский опыт клиента. Для этого задаем вопросы:

Почему покупал книги именно на английском?

Почему именно бумажные?

Какие еще товары покупаешь в интернете?

Какие товары покупаешь на иностранных сайтах — Ebay, Amazon и так далее?

4.3. Начало интервью

Начните с разогревающих вопросов

Перед тем, как погрузиться в темы, которые вы хотите раскрыть, задайте несколько простых, дружелюбных, легковесных вопросов. В целом эти вопросы должны относиться к общей теме сессии, но не должны быть слишком специфическими, заставляющими задумываться над ответами. 

«Чем вы занимаетесь?»

«Можете рассказать о ваших увлечениях?»

«Как часто вы используете компьютер дома?»

«Как часто вы делаете покупки онлайн?»

4.4. Во время интервью

• Не пытайтесь продавать продукт

Вы затеяли исследование, чтобы получить честное мнение людей о продукте, а не для того, чтобы убедить их в том, что продукт – лучшее, что они когда-либо использовали.

• Отвечайте вопросом на вопрос

Вполне нормально, если участник «запинается» на каком-то моменте, особенно если вы проводите UX-тест, где его просят выполнить конкретное задание, используя ваш продукт.  Он станет задавать вам вопросы («Куда я должен кликнуть?»); ваша же задача – устоять от искушения ответить ему. Вместо этого задайте ему встречный вопрос: 

«Куда бы вы кликнули в этом случае?»

«Что должно произойти по вашему мнению?»

«ЧТо помогло бы вам разобраться в этом?»

• Обращайте внимание на невербальные подсказки

Будьте внимательны к выражению лица, языку тела и тону голоса респондента. Очень много информации о пользователе можно получить за счет невербальных средств. Это странное хмурое выражение лица, которое вы можете видеть, пока пользователь взаимодействует с вашим сайтом, означает, что у него есть вопрос, который ему неловко задать. Спросите, в чем дело.

5. Опросы

Опрос — один из исследовательских методов, который широко применяется в разных сферах, в том числе и в пользовательских исследованиях при проектировании интерфейса.

Опрос хорош тем, что не требует модерации и его можно разослать на большое количество людей, получить статистически значимые результаты.

Опрос, как и другие исследования, проводится с целью получения данных о пользователе. Данные бывают двух видов: количественные и качественные.

Количественные данные представляют собой набор числовых показателей, например сколько человек выбрало тот или иной ответ, какое количество пользователей сталкивались с определенной ситуацией и т.д. Количественные данные легко анализировать, сравнивать. Они помогают увидеть закономерности и явления, ответить на вопрос “что”.

В опросах количественные данные собираются через закрытые вопросы: на них требуется ответ ДА/НЕТ или выбор варианта(ов).

Качественные данные гораздо труднее интерпретировать и сравнивать, так как информация представлена в свободной форме. Это могут быть видеозаписи наблюдений, тексты интервью, развернутый ответ на вопрос. Качественные данные помогают понять причины наблюдаемых явлений, ответить на вопрос “почему”.

В опросах качественные данные собираются через открытые вопросы, на которые требуется ответ в свободной форме.

5.1 Когда проводить опрос

Опросы могут проводиться на разных стадиях проекта.

Если взглянуть на диаграмму UX-дизайн процесса, то наиболее эффективны опросы будут на этапах Discover (исследование), Test (проверка до разработки) и Validate (сбор обратной связи после разработки).

На этапе Discover опрос помогает достичь следующего:

Проверить простые гипотезы о целевой аудитории.

Простыми мы считаем гипотезы, на которые относительно легко получить ответ, задавая закрытые вопросы.

Пример: мы решили сделать приложение доставки продуктов, и предполагаем, что наша целевая аудитория — родители в декрете, которые не могут с ребенком ходить по магазинам. Составляем опрос:

Выяснить отношение потенциальных пользователей к какой-либо услуге или сервису.

Опрос позволяет задать вопрос о том, как бы человек себя повел или как бы отнесся к тому, с чем он еще не сталкивался. Например, стал бы он пользоваться приложением или нет.

Узнать детали о целевой аудитории

Помимо банальных пола и возраста, мы можем выяснить интересы, привычки, используемые форм-факторы и т.д.

Узнать, какие продукты-конкуренты используют потенциальные пользователи.

На основе количественных данных мы сможем сказать, какие конкуренты наиболее популярны, а на основе качественных ответов понять, что ценят или не очень приветствуют пользователи.

Отсортировать аудиторию.

Такой прескрининг бывает нужен в случае, если планируются дальнейшие исследования.

Получить контактные данные респондентов.

Пример: добавим последний вопрос, который виден только тем, кто ответил “нет” в предыдущем вопросе. Это поможет собрать контакты респондентов, готовых прийти на интервью

Цели опроса на этапе Test

– Узнать, насколько сложной респонденту кажется та или иная задача

– Узнать общее впечатление респондента от интерфейса

– Сравнить полученные численные оценки после нескольких тестирований и выявить динамику

Опрос можно давать после каждого задания в тестировании или по окончании всего теста. Можно использовать готовые опросники или составить свой.

 Цели опроса на этапе Validate

На этом этапе мы разработали интерфейс и предоставили его пользователям. Готовый продукт позволяет оценить не только юзабилити, но и техническое качество интерфейса, что тоже влияет на UX.

• Узнать, насколько сложно человеку выполнить задачу в реальной системе
• Узнать общее впечатление респондента от сервиса
• Сравнить полученные численные оценки после нескольких опросов и выявить динамику, которая коррелирует с изменениями в сервисе

Все виды опросов, которые подходят для этапа Test, можно использовать и на этапе Validate. Особенно эффективны здесь будут NPS и вопросы по шкале Ликерта.

Для того, чтобы встроить вопрос в готовый UI, есть специальные сервисы, например Hotjar или UX Feedback

5.2  Готовые опросники

Готовых опросников существует множество. Это самые популярные и проверенные временем.

После каждого задания

Если вы хотите выявить самое сложное задание, самое проблемное место в интерфейсе, есть смысл давать короткие (1–2 вопроса) опросы после каждого задания.

NASA Task Load Index (TLX) — опросник от Nasa, который помогает оценить когнитивную нагрузку на пользователя во время работы с интерфейсом. Делится на 2 части. Простой, универсальный, есть версия для мобильных приложений.

After-Scenario Questionnaire (ASQ) — 3 коротких вопроса. Используется в IBM.

Single Ease Question (SEQ) — популярный опросник, содержит всего один вопрос: оценить задачу по 7-бальной шкале от очень сложной до очень простой. Часто использую его в юзабилити-тестах.

Subjective Mental Effort Questionnaire (SMEQ) — также содержит один вопрос, но в виде шкалы сложности.

По окончании теста

Опросник после теста помогает оценить общее впечатление респондента, что потом может конвертироваться в “верность” продукту.

User Experience Questionnaire (UEQ) — доступен на многих языках, хорошо описан, есть готовая таблица для вноса и автоматического анализа результатов. Авторы сделали укороченную версию UEQ-S, которая занимает меньше времени, но дает менее глубокие результаты. UEQ-S в сочетании с TLX оказался достаточно эффективным для одного из моих проектов.

System Usability Scale (SUS) — давно используется, прост и популярен, является практически стандартом индустрии. Результаты могут быть в определенной степени недостоверны, так как есть “вопросы-предсказания”.

Net Promoter Score (NPS) — маркетологический опросник, но полезен в оценке общего впечатления от концепта интерфейса.

5.3 Свой опросник

Есть два типа шкал, которые можно использовать для формулировки самых разных вопросов:

Шкала Ликерта

5-7 вариантов ответа на вопрос, чтобы выяснить насколько респондент согласен или не согласен с утверждением.

Семантический дифференциал

Шкала, в конце которой противоположные оценки. Респонденту необходимо выбрать оценку, наиболее близкую его впечатлениям. Подбирайте противоположные оценки так, чтобы они трактовались однозначно.

5.4  Подбор респондентов

Где искать респондентов

• Спросить у заказчика/руководителя проекта. Он наверняка представляет себе конечных пользователей продукта и предполагает, где их можно найти и как к ним обратиться.
• Обратиться в отдел маркетинга (если таковой имеется). Они часто помогают и даже рассылают тесты нужным респондентам.
• Искать в тематических группах. Вы можете выложить опрос в фейсбук, вконтакте, телеграм-каналы с ЦА. Еще лучше писать в личные сообщения людям, которые в этих группах состоят. Это муторно и долго, но шанс получить ответ гораздо выше.
•  Специализированные сервисы. В них есть пре-скрининг, что помогает найти “свою” аудиторию, большое количество респондентов.

Вот некоторые из сервисов:

Яндекс.Взгляд

UserTesting

Userbrain

Lookback

UsabilityHub

Userlytics

Userzoom

Loop11

Большинство сервисов платные. И есть вероятность столкнуться с респондентами, которые лишь притворяются вашей ЦА, так как сервис оплачивает их участие в тестированиях. С этим практически невозможно бороться, но можно иметь в виду.

5.5 Составление опроса и как не нужно делать

Мы определили цель, подобрали респондентов. Можно переходить к самому опроснику. На этом шаге важно думать как респондент, стараться сделать опрос простым, понятным и недолгим.

Вопросам должно предшествовать описание опросника: зачем он, сколько займет, как поможет в создании сервиса, как будут использоваться ответы и личные данные респондентов.

Никогда не оставляйте опрос без финального слайда. На нем вы можете не только поблагодарить респондента и дать понять, что опрос подошел к концу, но и спросить контактные данные для будущих исследований, еще раз заверить, что информация не будет использоваться неподобающим образом.

Это важная часть, которая оставит положительное впечатление у респондента и побудит сотрудничать с вами в дальнейшем.

Типичные ошибки в опросах

• Ненужные вопросы. Такая ошибка возникает из-за плохого понимания цели проведения опроса. Не нужно спрашивать возраст или, к примеру, имя респондента, если это не отвечает цели исследования, не будет полезно вам в дальнейшем и не повлияет на интерфейс.
• Неудобный инструмент опроса. Если респондентам нужно долго логиниться в сервисе, где опубликован опрос, или они не понимают как им пользоваться, они просто не будут отвечать. Используйте специализированные платформы, Google или Microsoft Forms. Они просты, понятны и содержат необходимые инструкции.
• Непонятные формулировки. Так вы рискуете получить неверные ответы. Классический пример — вопрос с двойным отрицанием.

• Нелогичная последовательность вопросов. Она сбивает с толку, утомляет и мешает отвечать.

Сначала задайте вопрос про жизнь, а затем переходите к вопросам про интерфейс. Вопросы должны следовать по сценарию из жизни или по сценарию взаимодействия с интерфейсом.

• Большое количество открытых вопросов. Это попытка заменить глубинное интервью опросом.

• Линейность. Бывает так, что ответ на один вопрос может иметь значение для ответа на последующие. Например, мы задаем вопрос:

Далее следует серия вопросов об этих сервисах (как называются, что нравится, что кажется неудобным). Но, если респондент еще на первый вопрос ответил отрицательно, ему совершенно ни к чему отвечать на последующие вопросы. Это раздражает и провоцирует бросить заполнение.

Продумайте сценарий появления вопросов, разбейте их на блоки и настройте отображение блоков в зависимости от выбора ответов.

• Неподходящий тип ответа. К примеру, если нужно дать однозначный ответ, не делайте ответы-чекбоксы— это путает.

•  Вопросы-предсказания.

Большинство людей на самом деле понятия не имеет как бы они поступили в будущем. Лучше задавать вопросы о прошлом опыте.

5.6 Пилотное исследование

Не спешите “раскатывать” свежеиспеченный опрос на респондентов из ЦА. Возможно, в вашем опросе есть непонятные формулировки или его сложно заполнять.

Покажите опрос 2–3 случайным людям из ближайшего окружения, попросите дать обратную связь по удобству заполнения.

Не пренебрегайте этим этапом, иначе вы рискуете получить невалидные результаты и все придется делать заново.