Что такое A/B тестирование в UX дизайне?

A/B тестирование представляет собой метод сравнения двух версий цифрового продукта, чтобы узнать, какой из них лучше работает. Творческая команда делит пользователей на две группы, и каждой из них предоставляют разные варианты. Одна половина — версия A, другая — B. Такой подход помогает определить более выгодное решение.

Различия между вариантами A и B могут варьироваться от самых маленьких до больших. Например, это может быть цвет небольшого элемента или другой вариант размещение всех компонентов. Эффективность измеряется по различным критериям, таким как просмотры страниц, клики, количество подписок или продаж. Выбор критериев измерения зависит от целей, установленных компанией или творческой группой. В некоторых случаях может быть полезно объединить эти показатели, чтобы получить более глубокое понимание всех аспектов.

Как дизайнеры могут использовать A/B тестирование?

Дизайн UI и UX для продукта всегда создается для достижения определенных целей. Дизайнеры тщательно подбирают все элементы пользовательского интерфейса, а также выстраивают взаимодействие и навигационную систему для эффективного использования. Однако то, что когда-то хорошо работало, может уже не иметь такого же эффекта. Бизнес-цели постоянно меняются, а продукт функционирует, поэтому дизайн требует некоторых улучшений.

A/B тестирование в UX дизайне сайтов и приложений — это подход, который помогает продумано изменить дизайн, чтобы пользователи не чувствовали себя неудобно. Дизайнеры могут собирать необходимые данные и показатели, пока люди продолжают использовать приложение или веб-сайт.

Итак, что дизайнеры получают от A/B тестирования? Прежде всего, это хороший способ изучить модели поведения и особенности целевой аудитории. Путем тестирования различных версий пользовательского интерфейса дизайнеры могут видеть, какое влияние каждое решение оказывает на пользователей, и какое из них работает наиболее эффективно. Кроме того, A/B тестирование поможет откинуть плохие проектные решения, если они есть, и заменить их чем-то более эффективным.

Кроме того, тестирование может уменьшить конфликты между дизайнерами и клиентами. Часто бывает так, что мнения обеих сторон различаются, и никто не хочет отступать. Чтобы решить такой конфликт, дизайнеры могут прибегнуть к этому методу.

Как мы уже говорили выше, различия между версиями A и B могут быть значительными. Вот список элементов, которые дизайнеры часто выбирают для A/B тестирования:

• Кнопки СТА (их размещение, размер, цвет или текст);
• Заголовки и подзаголовки;
• Изображения на целевых страницах;
• Текстовое содержимое (длина, размещение и содержимое);
• Видео (наличие или отсутствие).

A/B тестирование в UX дизайне сайтов и приложений не является разовой работой. Дизайнеры могут тестировать разные элементы один за другим, а затем объединять собранную информацию, чтобы проверить, какие из их решений более удобны в использовании.

Процесс A/B тестирования

A/B тестирования не является сложным методом. Его можно провести достаточно легко, если предпринять следующие шаги.

Шаг 1. Соберите данные и тарифы

Первой целью тестирования является оптимизация. Это может быть оптимизация доходов, улучшение пользовательских возможностей или просто обновление продукта в целом. Вот почему первым шагом перед запуском тестирования должен быть сбор данных. Результаты аналитики могут помочь понять, какой аспект нуждается в оптимизации больше всего. Первыми целями могут стать страницы с низким коэффициентом конверсии или кнопками CTA с небольшим количеством кликов.

Шаг 2. Задайте цели

Например, это может быть больше подписчиков для блога, больше времени, проведенного на веб-сайте, или больше кликов на кнопках CTA. Настройка целей позволяет отслеживать эффективность ваших решений.

Шаг 3. Постройте гипотезу

Этот шаг необходим, чтобы дизайнеры могли использовать собранную информацию для будущих улучшений. После того, как цели установлены, вам нужно подумать о причинах, по которым новые решения будут работать лучше. Исследование целевой аудитории помогает генерировать некоторые гипотезы о том, что может улучшить текущую версию.

Шаг 4. Создайте версии A и B

Когда дизайнеры решили, какие изменения они хотят реализовать, пришло время оживить их. A/B тестирование может пригодиться для сравнения эффективности новой версии со старой или нескольких новых решений.

Шаг 5. Перейдите к тестированию

Это самая приятная часть тестирования для творческой команды, потому что пришло время для работать пользователям. Люди используют приложение или посещают веб-сайт, и все, что они делают, измеряется и преобразуется в полезные данные.

Шаг 6. Анализ результатов

Собираются и сравниваются все данные и показатели двух версий. Основываясь на результатах, дизайнеры решают, какой вариант работает лучше и способен выполнить цели, которые были установлены в начале.

Преимущества и недостатки тестирования A/B тестирования

Нет идеального подхода, который бы соответствовал любой ситуации. Тем не менее, каждый подход уникален и приносит определенные преимущества, которые другим доступны. Р, какие тесты A / B могут предложить дизайнерам и каковы его ограничения.

Преимущества

A/B тестирование в UX дизайне сайтов и приложений измеряет фактическое поведение пользователей. Люди используют продукт, не зная, что они сейчас являются частью эксперимента. Вот почему они действуют естественным образом, что помогает точно идентифицировать модель их поведения.

Это дешевый метод. Тестирование не требует применения дорогостоящих инструментов и найма людей, которые хотели бы протестировать продукт. Все, что вам нужно, это две версии для эксперимента и программное обеспечение, которое случайным образом делит пользователей на группы.

Отбор качественного контента. A/B тестирование- это хороший способ узнать, какой контент ценен и лучше всего подходит для продукта.

Ориентация на пользователей. Этот метод полностью ориентировано на конечных пользователей и их модели поведения. После эксперимента разработчики получают данные, помогающие сделать продукт еще более удобным.

Быстрый и простой анализ. Тестирование обычно фокусируется на нескольких определенных показателях. Поэтому, когда результаты собраны, легко определить, какая версия работает лучше.

Все можно протестировать. Не все подходы позволяют тестировать действительно мелкие вещи, такие как цвет кнопок, шрифты или размещение заголовков. Однако даже такие маленькие элементы могут оказать большое влияние на поведение пользователей и их восприятие дизайна.

Снижение рисков. Некоторые ошибки могут стоить очень дорого, если они сделаны на важных этапах. Тестирование может снизить риск потери денег из-за неправильных дизайнерских решений.

Недостатки

A/B тестирование работает только для полностью реализованного дизайна. Вы не можете тестировать только кнопки CTA в пользовательском интерфейсе без текстового содержимого или любого другого компонента, потому что результаты будут отличаться. Продукт должен быть  полностью готовым к использованию.

Это тестирование является эффективным методом сбора определенных данных и показателей, показывающих, что работает хорошо, а что нет. Но если вы ищете ответы, почему это так, вам нужно провести исследование пользователей, которое будет углубляться в особенности целевой аудитории.

 

 

 

 

 

 

 

 

 

 

Дизайн кнопки призыва к действию CTA

Эффективная система взаимодействия цифрового продукта состоит из небольших элементов, которые имеют свои задачи и функции. Чтобы создать полноценную и функциональную систему, важно обратить внимание на все детали. Так дизайн кнопки призыва к действию играет роль в создании интуитивной навигации и достижении бизнес-целей.

Кнопки являются основными интерактивными компонентами пользовательских интерфейсов, которые играют значительную роль в UX качестве, а также создании благоприятных коэффициентов конверсии веб-сайтов и приложений. Кнопки пользовательского интерфейса меняются в зависимости от их возможностей и могут быть разделены на разные типы. Давайте рассмотрим дизайн кнопки призыва к действию, чтобы добиться лучших показателей.

Что такое кнопка призыва к действию CTA и почему она важна?

Кнопка «призыв к действию» (CTA) является интерактивным элементом любого пользовательского интерфейса, как веб-сайта, так и мобильного: его основная цель — побудить людей совершить определенные действия, которые представляют собой, например, совершение покупки, обращение за консультацией, подписка на обновления и т. д.

Традиционно кнопки CTA легко заметить, тем более, дизайнеры намеренно создают их таким образом, чтобы люди не удержались от нажатия на нее. Вот почему они обычно представляют собой жирные кнопки, содержащие текст с конкретным призывом к действию (например, «Узнать больше» или «Купить сейчас»), что  подталкивает нас на совершение действия.

Рост обращение и рост продаж являются основными бизнес-целями, под которые могут быть созданы призывы к действию. Когда дизайн кнопок достаточно убедителен, чтобы сразу привлечь внимание потенциальных клиентов, он может побудить их щелкнуть и перейти на следующий этап, например, заполнить короткую контактную форму или сделать предварительный заказ продукта.

Таким образом, посетители веб-сайта и пользователи приложений могут последовательно проходить через этапы совершения покупки с одной страницы на другую, все больше узнавая о товаре или услуги. Даже профессионально разработанный контент не может гарантировать высокий уровень взаимодействия с пользователем. Без кнопок CTA люди с большей вероятностью быстро просматривают контент и просто покидают страницу.

Некоторые могут подумать, что дизайн кнопки призыва к действию затрагивает только размер и цвет для достижения всех своих целей. Тем не менее, существует гораздо больше аспектов, обеспечивающих эффективность CTA.

 

 

 

 

Дизайн кнопки призыва к действию — правила эффективности

Размер

Манипуляции с размером является одним из наиболее распространенных инструментов, помогающих разделить компоненты пользовательского интерфейса в зависимости от их важности (смотри Визуальная иерархия в дизайне сайтов). Чем больше элемент, тем заметнее он становится. Поскольку целью кнопки призыва к действию является привлечение внимания пользователей, дизайнеры обычно стараются сделать их выделяющимися среди других кнопок на экране, особенно размером.

Большие кнопки имеют большие шансы быть замеченными и нажатыми, но вы должны соблюдать некоторые ограничения. Привлекательная кнопка призыва к действию обычно достаточно велика, чтобы ее можно было быстро найти, но не слишком большая, чтобы визуальная композиция и иерархия макета были испорчены. Лидеры рынка часто дают рекомендации по эффективным размерам кнопок в своих гайдлайнах Например, Apple говорит, что CTA в мобильном интерфейсе должны быть не менее 44Х44 пикселей, тогда как Microsoft рекомендует 34Х26 пикселей.34Х26 пикселей

.

Цвет и форма

Визуально привлекательный размер — это только один аспект эффективной CTA. Чтобы сделать кнопки еще более заметными, важно выбрать правильные цвет и форму. Дело в том, что человеческое настроение и поведение очень связаны с визуальным окружением (смотри Правила применения цвета в UX дизайне). Наш ум реагирует на цвета и формы, в то время как мы обычно этого не замечаем (Использование цвета, психология и дизайн).

В тот момент, когда наши глаза воспринимают цвет, они передают сигналы мозгу, который через эндокринную систему, регулируют наши настроение и эмоций. Психологическая наука имеет конкретные отрасли, посвященные влиянию разных цветов и форм на наше сознание. Ниже приведены краткие руководства по общему смыслу, которые имеют цвета и формы.

Влияние цвета:

• Красный. Уверенность, молодость и власть.
• Оранжевый. Дружелюбность, тепло и энергичность.
• Желтый. Счастье, оптимизм и тепло.
• Зеленый. Мир, рост и здоровье.
• Синий. Доверие, безопасность и стабильность.
• Пурпурный. Роскошь, креативность и мудрость.
• Черный. Надежность, утонченность и опытность.
• Белый. Простота, спокойствие и чистота.

Влияние формы:

• Квадраты и прямоугольники: дисциплина, сила, храбрость, безопасность, надежность.
• Треугольники: волнение, риск, опасность, равновесие, стабильность.
• Окружности и эллипсы: вечность, феминность, вселенная, магия, тайна.
• Спирали: рост, творчество, спокойствие, интеллект.
• Природные формы: оригинальность, органичность, баланс, свежесть.
• Абстрактные формы: двойственность значения, уникальность, сложность.

Традиционно дизайн кнопки призыва к действию CTA использует горизонтальные прямоугольники, так как люди привыкли воспринимать эту фигуру как кнопку. Кроме того, рекомендуется создавать CTA с закругленными углами, потому что так легче считывается содержащийся в ней текст.

Выбор цвета зависит от различных аспектов, которые усложняют процесс. Дизайнеры должны учитывать такие факторы, как основной цвет композиции, а также возможные предпочтения и психологические особенности целевой аудитории. Существует одно условие, которое необходимо учитывать при выборе цветов для призыва к действию: цвета фона должны быть достаточно контрастирующими, чтобы CTA выделялись из других компонентов пользовательского интерфейса.

Размещение кнопок CTA в макете

Размещение кнопок CTA имеет решающее значение для их эффективности. Если они расположены в областях, где взгляд пользователей не может сразу их уловить, другие визуальные аспекты, такие как цвет и размер, не могут работать эффективно. Но как понять, какое место размещения наиболее подходящее?

Многие исследования показали, что перед чтением веб-страницы люди просматривают ее, чтобы понять, интересна ли она им. Учитывая этот факт, дизайнеры могут изучать наиболее часты области просмотра и размещать призывы к действию по пути взгляда пользователя.

Согласно различным исследованиям, в том числе публикациям Nielsen Norman Group, UXPin team и других, существует несколько популярных шаблонов сканирования для веб-страниц, среди которых «F» и «Z».

F-шаблон является наиболее распространенным для веб-страниц с большим количеством контента, таким как блоги, новостные платформы. Сначала пользователь просматривает горизонтальную линию в верхней части экрана, затем перемещается по странице и читают горизонтальными линиями, которые обычно покрывают более короткую область.

Z-шаблон является типичной моделью сканирования целевых страниц или веб-сайтов, не загруженных текстовой информацией и не требующих прокрутки страницы, что означает, что все основные данные видны в области первого взлгляда. Сначала пользователь просматривает верхнюю часть страницы, начиная с левого верхнего угла, ищет важную информацию, а затем переходит в противоположный угол по диагонали, заканчивая горизонтальной линией внизу страницы.

Эти шаблоны позволяют дизайнерам размещать CTA в точках наибольшего внимания, таких как верхние углы, и ставить другие элементы, требующие внимания вдоль верхней и нижней линий. Кроме того, рекомендуется размещать кнопки призыва к действию в центре макета, особенно если он не перегружен другими элементами интерфейса.

Большой гайд по A/B-тестированию

В интернете масса информации об A/B-тестированиях, но многие до сих пор проводят их неправильно. Ошибиться действительно легко, поэтому подобные исследования требуют серьезной предварительной подготовки. В этой статье рассматриваются основные аспекты A/B-тестирования, которые необходимо учитывать для эффективного анализа веб-страниц.

 

Что такое A/B-тестирование?

A/B тестирование (сплит-тестирование) разделяет трафик в соотношении 50/50 между разными версиями страницы. По сути, этот метод — новое название для старой техники, известной как «контролируемый эксперимент».

Для проверки эффективности новых лекарств специалисты проводят сплит-тесты. Фактически, большинство исследовательских экспериментов можно назвать A/B-тестированием. Они включают в себя гипотезу, основной объект исследования, его вариацию и результат, представленный в виде статистических данных.

Вот и все. В качестве примера можно привести простое A/B-тестирование, при котором трафик в соотношении 50/50 делится между основной страницей и ее вариацией:

В случае с оптимизацией конверсии основное отличие состоит в изменчивости интернет-трафика. Внешние переменные легче контролировать в лаборатории. В интернете вы можете уменьшить их влияние, но создать полностью контролируемый тест гораздо сложнее.

Кроме того, тестирование новых лекарств требует определенной степени точности. На кон поставлены жизни людей. С технической точки зрения это значит, что тестирование может продолжаться дольше, так как исследователи должны сделать все возможное, чтобы избежать ошибки первого рода (ложное срабатывание).

Однако, A/B-тестирование веб-ресурсов проводится для достижения бизнес-целей. Оно необходимо для анализа рисков и вознаграждений, разведки и разработки, науки и бизнеса. Поэтому результаты рассматриваются с другой точки зрения, а решения принимаются не так, как у исследователей в лабораториях.

Конечно, вы можете создать более двух вариаций страницы. Исследование с несколькими элементами называют A/B/n-тестированием. Если трафика достаточно, то протестировать можно столько вариантов, сколько вам заблагорассудится. Вот пример A/B/C/D-тестирования с указанием трафика, выделенного для каждой вариации:

A/B/n-тестирование отлично подходит для реализации нескольких вариаций с целью проверки одной гипотезы. Однако, оно потребует больше трафика, поскольку его придется разделять на большее количество страниц.

Несмотря на свою популярность, A/B-тестирования являются лишь одним из видов онлайн-исследований. Вы также можете проводить многовариантные тесты или использовать метод многоруких бандитов.

A/B-тестирование, многовариантные тесты и метод многоруких бандитов: в чем разница?

A/B/n-тестирования — это контролируемые эксперименты, по результатам которых сравниваются коэффициенты конверсий исходной страницы и ее одной или нескольких вариаций.

Многовариантные тесты проводятся на нескольких версиях страницы с целью определить, какие атрибуты имеют наибольшее значение. Как и в случае A/B/n-тестирования, оригинал сравнивается с вариациями. Однако, в каждом варианте используются разные элементы дизайна. Например:

Каждый элемент имеет определенный сценарий использования и оказывает влияние на эффективность страницы. Добиться максимальной отдачи от сайта можно следующими способами:

• Провести A/B-тестирование, чтобы определить лучшие варианты макетов страниц.
• Провести многовариантные тесты, чтобы усовершенствовать макеты и убедиться в том, что все элементы страниц хорошо взаимодействуют друг с другом.

Вам потребуется привлечь огромное количество пользователей на тестируемую страницу, прежде чем даже рассматривать возможность многовариантного тестирования. Однако, трафика достаточно, для оптимизации сайта следует использовать оба типа исследований.

Большинство агентств отдают предпочтение A/B-тестированию, поскольку их клиенты обычно тестируют значительные изменения (в потенциале сильнее влияющие на страницу). К тому же, их проще проводить.

Метод многоруких бандитов — это A/B/n—тесты, которые обновляются в режиме реального времени на основе эффективности каждой вариации.

По сути, алгоритм многоруких бандитов начинается с отправки трафика на две (или более) страницы: оригинал и ее вариант(ы). Затем он обновляется в зависимости от того, какая из вариаций является наиболее эффективной. В конце концов, алгоритм определяет лучший вариант из возможных:

Одно из преимуществ метода многоруких бандитов заключается в том, что они смягчают потери конверсии, которые вы испытываете при тестировании потенциально худшего варианта. Эта диаграмма от Google хорошо все объясняет:

И у метода многоруких бандитов, и у A/B/n-тестирований имеются сильные стороны. Первый идеально подходит для:

• Заголовков и краткосрочных кампаний;
• Автоматического масштабирования;
• Таргетинга;
• Одновременной оптимизации и атрибуции.

Вне зависимости от того, какой тип тестирования вы применяете, важно стараться повысить шансы на успех. Иными словами, чем чаще вы проводите тесты, тем быстрее увеличится конверсия.

Как улучшить результаты A/B-тестирования

Не обращайте внимания на статьи наподобие «99 вещей, которые можно протестировать с помощью A/B-тестирования». Это пустая трата времени и трафика. Только сам процесс поможет вам увеличить доход.

Около 74% оптимизаторов со структурированным подходом к конверсии также заявляют об улучшении продаж. Остальные попадают туда, что веб-аналитик Крейг Салливан называет «корытом разочарования». (Если только их результаты не испорчены ложными срабатываниями, о которых мы поговорим позже.)

Для наибольшей эффективности структура тестирования должна выглядеть следующим образом:

• Исследование;
• Расстановка приоритетов;
• Экспериментирование;
• Анализ, обучение, повторение.

Исследование

Для оптимизации сайта необходимо понять, что и почему делают ваши пользователи.

Однако, прежде чем задумываться о тестировании, укрепите свою стратегию привлечения пользователей и отталкивайтесь от нее. Итак, вам нужно:

1. Определить цели вашего бизнеса.
2. Определить цели вашего веб-сайта.
3. Определить ваши ключевые показатели эффективности;
4. Определить ваши целевые метрики.

Как только вы поймете, чего хотите добиться, можно начать собирать необходимые данные. Для этого мы рекомендуем использовать ResearchXL Framework.

Вот краткий перечень процессов, применяемый в компании CXL:

1. Эвристический анализ;
2. Технический анализ;
3. Анализ данных систем веб-аналитики;
4. Анализ движения мыши;
5. Качественные опросы;
6. Пользовательское тестирование.

Эвристический анализ — это одна из лучших практик A/B-тестирования. Даже имея многолетний опыт, тяжело понять, какие именно элементы страницы увеличивают ее эффективность. Однако, можно определить области возможностей. Специалист по UX Крейг Салливан считает:

“По моему опыту, эти паттерны упрощают работу, но не являются прописными истинами. Они направляют и информируют меня, но не дают никаких гарантий».

Не стоит полагаться на паттерны. Также полезно иметь фреймворк. При проведении эвристического анализа стоит оценивать каждую страницу по следующим критериям:

• Релевантность;
• Ясность;
• Ценность;
• Трение;
• Отвлечение.

Технический анализ часто упускается из виду. Однако, ошибки (если они есть) убивают конверсию. Вам может казаться, что ваш сайт работает отлично с точки зрения пользовательского опыта и функциональности. Но работает ли он одинаково хорошо с каждым браузером и устройством? Возможно, что нет.

Технический анализ очень эффективен и при этом не очень трудозатратен. Поэтому вам следует:

• Провести кросс-браузерное и кроссплатформенное тестирование.
• Проанализировать скорость работы сайта.

Следом идет анализ данных систем веб-аналитики. В первую очередь, убедитесь, что все работает. Вы будете удивлены количеством настроек систем веб-аналитики, которые выставлены неверно.

Анализ движения мыши включает тепловые карты, карты скроллинга, аналитику форм и повторы пользовательских сессий. Не увлекайтесь красочной визуализацией карт кликов. Убедитесь, что анализ помогает вам получать информацию, необходимую для достижения целей.

Качественное исследование позволяет понять причины проблем. Многие думают, что оно проще количественного. В действительности, качественное исследование должно быть таким же точным, чтобы предоставлять не менее полезную информацию.

Для этого необходимо проводить:

• Опросы на сайте;
• Опросы клиентов;
• Интервью с клиентами и фокус-группами.

Наконец, можно использовать пользовательское тестирование. Идея проста: понаблюдайте за тем, как реальные люди используют ваш веб-сайт и взаимодействуют с ним, одновременно с этим комментируя свои действия. Обратите внимание на то, о чем они говорят и что испытывают.

После тщательного исследования конверсии у вас будет много данных. Следующим шагом является расстановка приоритетов для тестирования.

Как расставлять приоритеты гипотез при A/B-тестировании

Существует множество фреймворков для определения приоритетов ваших A/B-тестов. Более того, вы можете делать это на основе собственных методов. Крейг Салливан расставляет приоритеты следующим образом:

По завершении всех шести этапов, описанных выше, вы обнаружите проблемы — как серьезные, так и незначительные. Распределите каждую находку в одну из пяти категорий:

1. Тестирование.В эту категорию будет отправлено все, что необходимо протестировать.
2. Инструменты.К этой категории можно отнести исправление, добавление или улучшение обработки тегов/событий при аналитике.
3. Построение гипотезы.В эту категорию определяются страницы, виджеты или процессы, которые работают не очень хорошо и требуют работы над ошибками.
4. Просто сделайте это.Используйте эту категорию для тех задач, которые просто необходимо сделать.
5. Изучение.Если задача попала в эту категорию, для ее решения придется копнуть поглубже.

Оцените каждую проблему от 1 до 5 звезд (1 = незначительная, 5 = критическая). При оценке наибольшее значение имеют следующие два критерия:

1. Простота реализации(время/сложность/риск). Иногда данные говорят вам о необходимости создать функцию, на разработку которой уйдут месяцы. Не начинайте работу с нее.
2. Возможность. Оценивайте вопросы субъективно в зависимости от того, насколько большой подъем или изменение они могут вызвать.

Создайте электронную таблицу со всеми вашими данными. Вы получите схему сплит-тестирования с выставленными приоритетами.

Мы создали собственную модель приоритизации, чтобы сделать весь процесс как можно более объективным. Она подразумевает обязательное внесение данных в таблицу. Модель называется PXL и выглядит следующим образом:

Вместо предсказывания эффективности изменения фреймворк задает вам ряд вопросов о нем:

• Значительное ли изменение? Серьезные обновление заметит больше людей. Следовательно, изменение окажет большее влияние на страницу.
• Можно ли заметить изменение за 5 секунд? Покажите группе людей страницу, а затем ее вариацию(и). Заметят ли они различия за 5 секунд? Если нет, то изменение вряд ли окажет серьезное влияние.
• Добавляет или удаляет ли что-нибудь изменение? Серьезные изменения наподобие уменьшения отвлекающих факторов или добавления ключевой информации обычно сильно влияют на страницу.
• Работает ли тест на страницах с большим трафиком? Улучшение страницы с большим трафиком дает большую отдачу.

Многие потенциальные тестовые переменные требуют данных для определения приоритетности ваших гипотез. Еженедельные обсуждения, в ходе которых задаются следующие четыре вопроса, помогут вам определить приоритеты тестирования на основе данных, а не мнений:

• Устранится ли проблема, обнаруженная в ходе пользовательского тестирования?
• Решаются ли проблемы, обнаруженные с помощью качественной обратной связи (опросы, голосования, интервью)?
• Поддерживается ли гипотеза данными об отслеживании мыши, тепловыми картами или трекингом глаз?
• Решаются ли проблемы, обнаруженные благодаря цифровой аналитике?

Оцениваение PXL

Мы используем бинарную шкалу: вы должны выбрать одну оценку из двух. Таким образом, для большинства переменных (если не указано иное) вы выбираете либо 0, либо 1.

Однако, мы также хотим сортировать переменные по важности. Для этого мы специально описываем, какие элементы страницы меняются.

Настраиваемость

Мы создали эту модель, полагая, что вы можете и должны настраивать переменные в зависимости от целей вашего бизнеса.

К примеру, если вы работаете с командой по брендингу или пользовательскому опыту и гипотезы должны соответствовать рекомендациям бренда, добавьте их в качестве переменной.

Возможно, вы работаете в стартапе, двигатель продаж которого работает от SEO. Возможно, ваше финансирование зависит от потока клиентов. Добавьте категорию наподобие «не мешает SEO», чтобы изменить некоторые заголовки или тексты.

Все организации работают по-разному. Настройка шаблона поможет учесть все нюансы и создать оптимальную программу для оптимизации сайта.

Какой бы фреймворк вы ни использовали, сделайте так, чтобы он был понятен каждому члену команды, а также акционерам компании.

Как долго проводить А/Б тесты?

Первое правило: не прекращайте тест только потому, что она становится статистически значимой. Вероятно, это самая распространенная ошибка, которую допускают начинающие оптимизаторы.

Если вы слишком рано остановите тестирование, то обнаружите, что большинство изменений не приводит к увеличению дохода (что и является основной целью).

Обратите внимание на эту статистику, полученную после 1000 A/A-тестов (он проводился для двух идентичных страниц):

• 771 эксперимент из 1000 достигал значимости в 90%.
• 531 эксперимент из 1000 достигал значимости в 95%.

Преждевременная остановка тестов увеличивает риски ложных срабатываний.

Определите размер выборки и проводите тестирование на протяжении нескольких недель хотя бы два рабочих цикла подряд.

Как определить размер выборки? Существует много отличных инструментов. Вот как вы можете рассчитать размер выборки с помощью инструмента Эвана Миллера:

В этом примере мы указали, что коэффициент конверсии составляет 3% и мы хотим увеличить этот показатель как минимум на 10%. Этот инструмент утверждает, что каждую вариацию должны посетить 51 486 человек, прежде чем мы сможем взглянуть на уровни статистической значимости.

Помимо уровня значимости существует статистическая сила. Статистическая мощность пытается избежать ошибок типа II (ложные отрицания). Другими словами, она повышает вероятность того, что вы обнаружите наиболее эффективный элемент страницы.

Помните, что 80% мощности является стандартом для инструментов A/B-тестирования. Чтобы достичь такого уровня, вам понадобится либо большой размер выборки, либо грандиозный эффекта, либо более длительный тест.

Волшебных чисел не существует

Во многих статьях указываются магические числа (например, «100 конверсий» или «1000 посетителей») в качестве лучшего момента для остановки тестирования. Однако, математика не имеет ничего общего с волшебством. В действительности все сложнее упрощенной эвристики наподобие этих цифр. Вот что об этом говорит Эндрю Андерсон из Malwarebytes:

«Ваша цель — не определенное число конверсий. Вы должны стремиться собрать достаточно данных для проверки гипотезы на основе репрезентативных выборок и репрезентативного поведения.

Сто конверсий возможны только в самых редких случаях и с невероятно высокой разницей в поведении, но только если выполняются другие требования — такие, как поведение во времени, согласованность и нормальное распределение. При этом риск возникновения ошибки первого рода остается очень высоким».

Итак, вам необходим репрезентативный образец. Как его получить? Проводите тестирование в течение двух экономических циклов, что поможет снизить влияние таких внешних факторов, как:

• \День недели. Ежедневный трафик может сильно меняться в зависимости от дня недели.
• \Источники трафика. За исключением тех случаев, когда необходимо персонализировать опыт для определенного источника.
• \Расписание отправки рассылок и публикаций в блоге.
• \Вернувшиеся посетители. Люди могут посетить ваш сайт, задуматься о покупке, а затем вернуться спустя 10 дней, чтобы совершить ее.
• Внешние события. Например, выдача зарплаты в середине месяца может повлиять на покупку.

Будьте осторожны с небольшими выборками. В интернете много тематических исследований, наполненных математическими ошибками.

Как только вы все настроите, не смотрите (и не позволяйте боссу подглядывать) на результаты теста до его окончания. Иначе вы можете сделать преждевременные выводы, «обнаружив тренд».

Регрессия к среднему

Вы часто будете замечать, что результаты сильно различаются в первые несколько дней теста. Впоследствии они сойдутся к среднему значению, поскольку тест продолжается на протяжении нескольких недель. Вот пример статистики сайта электронной коммерции:

• Первые пару дней: синий (вариант №3) с отрывом побеждает. Вариация приносит 16 долларов за посетителя против $12,50, которую приносит исходная страница. Многие (по ошибке) закончили бы тестирование на этом этапе.
• Спустя 7 дней: синий вариант страницы все еще выигрывает, а относительная разница достаточно велика.
• Спустя 14 дней: Оранжевый вариант (№4) выходит в лидеры!
• Спустя 21 день: Оранжевый вариант до сих пор побеждает!
• Конец тестирования: между вариантами нет различий.

Если бы вы завершили тестирование раньше четвертой недели, то сделали бы ошибочный вывод.

Существуют похожая проблема: эффект новизны. Новизна ваших изменений (например, большая синяя кнопка) привлекает больше внимания к варианту страницы. Со временем этот эффект исчезает, поскольку изменение постепенно перестанет быть актуальным.

Можно ли проводить несколько A/B-тестов одновременно?

Вы стремитесь ускорить свою программу тестирования и запустить больше тестов. Однако, можно ли запустить более одного A/B теста одновременно? Это увеличит ваш потенциал роста или исказит полученные данные?

Некоторые эксперты утверждают, что проводить несколько тестов одновременно неправильно. Некоторые говорят, что все в порядке. В большинстве случаев у вас не будет проблем при проведении нескольких одновременных тестов.

Если вы не тестируете действительно важные вещи (например, что-то, что влияет на вашу бизнес-модель и будущее компании), то преимущества от объема тестирования, вероятно, перевесят недостатки ваших данных и случайные ложные срабатывания.

Если существует высокий риск взаимодействия между несколькими тестами, уменьшите количество одновременных тестов и/или дайте тестам работать дольше для повышения точности.

Как настраивать A/B-тесты

После составления списка тестовых идей с расставленными приоритетами необходимо сформулировать гипотезу и провести эксперимент. Гипотезой вы определяете, по какой причине возникает проблема. Кроме того, хорошая гипотеза:

• Поддается проверке. Она измерима, поэтому ее можно проверить.
• Решает проблему конверсии. Сплит-тестирование решает проблемы конверсии.
• Обеспечивает понимание рынка. С четко сформулированной гипотезой результаты вашего сплит-тестирования всегда предоставят вам ценную информацию о клиентах.

Крейг Салливан предлагает следующий алгоритм для упрощения процесса составления гипотезы:

1. Так как мы получили (данные/обратную связь),
2. Мы ожидаем, что (изменение) вызовет (эффект).
3. Мы измерим его, используя (метрику данных).

Есть продвинутая версия этого алгоритма:

1. Так как мы получили (качественные и количественные данные),
2. Мы ожидаем, что (изменение) для (населения) вызовет (эффект[ы]).
3. Мы ожидаем увидеть (изменение метрик данных) за период (X бизнес-циклов).

Технические вопросы

Настала самая занимательная часть тестирования: вы наконец можете выбрать инструмент для его проведения.

Многие приступают к этому вопросу в первую очередь, но это далеко не самое главное. Стратегия и статистические данные гораздо важнее.

Тем не менее, существуют несколько особенностей инструментов, о которых вы должны помнить. Они делятся на две основные категории: инструменты на стороне сервера или на стороне клиента.

Серверные инструменты отображают код на уровне сервера. Они отправляют рандомизированную версию страницы зрителю без изменений в браузере посетителя. Инструменты на стороне клиента отправляют ту же страницу, но JavaScript в браузере клиента управляет внешним видом исходной страницы и ее вариантом.

К инструментам тестирования на стороне клиента относятся Optimizely, VWO и Adobe Target. Conductrics позволяет использовать оба метода, а SiteSpect использует прокси-сервера.

Что все это значит для вас? Если вы хотите сэкономить время, ваша команда невелика или у вас нет ресурсов для разработки, инструменты на стороне клиента помогут вам быстрее начать работу. Инструменты, работающие на стороне сервера, требуют ресурсов для разработки — однако, как правило, они более надежны.

Хотя настройка тестов немного отличается в зависимости от того, какой инструмент вы используете, зачастую весь процесс очень простой и справиться с ним может любой человек — достаточно просто следовать инструкции.

Кроме того, вам нужно установить цели. Ваш инструмент тестирования будет отслеживать, когда каждый вариант страницы превращает посетителей в клиентов.

При настройке A/B-тестов пригодятся следующие навыки: HTML, CSS и JavaScript / JQuery, а также умение создавать тексты и проектировать новые вариации страниц. Некоторые инструменты позволяют использовать визуальный редактор, но он ограничивает вашу гибкость и контроль.

 

Как анализировать результаты A/B-тестов?

Итак, вы наконец провели исследование, правильно настроили тест и провели его. Теперь перейдем к анализу. Это не так просто — недостаточно лишь взглянуть на график из вашего инструмента тестирования.

Одна вещь, которую вы всегда должны делать: анализировать результаты своего теста в Google Analytics. Так вы не просто расширяете ваши возможности анализа, но и становитесь более уверенным в своих данных и принятии решений.

Ваш инструмент тестирования может неправильно записывать данные. Если у вас нет другого источника информации, вы никогда не можете быть уверены, стоит ли доверять ли ему. Создайте несколько источников данных.

Что происходит, если нет различий между вариациями? Не торопитесь. Во-первых, осознайте две вещи:

1. Ваша гипотеза могла быть верной, но реализация оказалась неверной.
2. Допустим, ваше качественное исследование говорит о наличии проблемы безопасности. Сколько раз вы можете улучшить восприятие безопасности? Неограниченное количество.
3. Используйте итеративное тестирование, если хотите что-то проверить, и сравните несколько итераций.
4. Даже при отсутствии ощутимой разницы в целом, вариация может превзойти исходную страницу по некоторым показателям.

Если вы заметили увеличение эффективности среди постоянных и мобильных посетителей, но не для новых посетителей и пользователей настольных компьютеров, эти сегменты могут компенсировать друг друга, создавая впечатление, что «разница отсутствует». Проанализируйте свой тест по ключевым сегментам, чтобы исследовать эту возможность.

Сегментация данных для A/B-тестов

Сегментирование — это ключ к извлечению выгоды из результатов A/B-тестирования. Несмотря на то, что B может проиграть A в общих результатах, вариация может победить оригинал страницы в определенных сегментах (органический трафик, переходы с Facebook, мобильный трафик и т. д.).

Существует огромное количество сегментов, которые вы можете проанализировать, включая следующие:

• Тип браузера;
• Тип источника;
• Мобильный или настольный компьютер или устройство;
• Зарегистрированные и вышедшие из системы посетители;
• PPC/SEM-кампании;
• Географические регионы (город, штат/провинция, страна);
• Новые и постоянные посетители;
• Новые и повторные покупатели;
• Продвинутые пользователи против случайных посетителей;
• Мужчины против женщин;
• Возрастной диапазон;
• Новые и уже представленные лиды;
• Типы планов или уровни программы лояльности;
• Текущие, потенциальные и бывшие подписчики;
• Роли (если, например, ваш сайт предлагает роли покупателя и продавца).

В крайнем случае (при условии, что у вас адекватный размер выборки) обратите внимание на эти факторы:

• Популярность десктопной и мобильной версии;
• Новые клиенты против возвращающихся;
• Пропадающий трафик.

Убедитесь, что у вас достаточный размер выборки в сегменте. Рассчитайте его заранее, и будьте осторожны, если данный сегмент насчитывает меньше 250–350 конверсий за вариацию.

Если ваши действия показали хорошие результаты для определенного сегмента, вы можете переходить к индивидуальному подходу к этим пользователям.

Как заархивировать проведенные A/B-тесты

A/B-тестирование в первую очередь необходимо для сбора информации. Статистически верные тесты, проведенные согласно инструкции, помогут добиться основных целей роста и оптимизации.

Умные компании архивируют результаты тестов и постоянно совершенствуют подходы к тестированию. Структурированный подход к оптимизации дает больший рост и реже ограничивается локальными ограничениями.

Самая сложная часть заключается в следующем: не существует единственного лучшего способа структурировать управление знаниями. Некоторые компании используют сложные встроенные инструменты; некоторые используют сторонние инструменты; а некоторые ходят с Excel и Trello.

Вот три инструмента, созданных специально для оптимизации конверсии:

• Iridion;
• Effective Experiments;
• Growth Hackers’ Projects.

Статистика, получаемая благодаря A/B-тестам

Знания статистики полезны при анализе результатов A/B-теста. Мы рассмотрели некоторые из них в разделе выше, но это еще не все.

Есть три понятия, которые вы должны знать перед тем, как изучать подробности статистики, получаемой благодаря A/B-тестам:

1. Среднее значение. Мы измеряем не все коэффициенты конверсии, а только образец. Среднее является лишь представителем целого.
2. Дисперсия. Мера разброса значений случайной величины относительно ее математического ожидания. Она влияет на результаты тестов и то, как мы их используем.
3. Отбор. Мы не можем измерить истинный коэффициент конверсии, поэтому выбирается репрезентативный образец.

Что такое P-значение?

Многие используют термин «статистическая значимость» некорректно. Сама по себе она не является сигналом для остановки тестирования. Так что же это и почему она так важна?

Для начала давайте рассмотрим P-значения, в которых также мало кто разбирается. Даже сами ученые порой в них путаются!

P-значение — это величина, характеризующая вероятность ошибки при отклонении нулевой гипотезы (ошибки первого рода). Она не доказывает, что вероятность B выше, чем A. Это распространенное заблуждение.

Подводя итог, можно сказать, что статистическая значимость (или статистически значимый результат) достигается, когда P-значение меньше уровня статистической значимости (который обычно устанавливается равным 0,05).

Односторонние и двусторонние A/B-тесты

Односторонний тест позволяет обнаружить изменение в одном направлении, в то время как двусторонний тест позволяет обнаружить изменение по двум направлениям (как положительное, так и отрицательное).

Не переживайте, если ваше ПО для тестирования поддерживает только один из типов A/B-тестов. При необходимости односторонний тест легко конвертируется в двусторонний и наоборот (однако, сделать это нужно до проведения теста). Единственное отличие заключается в пороговом уровне значимости.

Если в вашем программном обеспечении используется односторонний тест, просто разделите используемое P-значение на два. Чтобы ваш двусторонний тест был достоверен минимум на 95%, установите уровень достоверности на отметке в 97,5%. Если же вы хотите добиться достоверности в 99%, то вам нужно выбрать значение 99,5%.

Доверительные интервалы и предел погрешности

Коэффициент конверсии обозначается не просто как X%. Он указывается примерно в таком виде: X% (± Y). Второе число в этой формуле — доверительный интервал, и он крайне важен для понимания результатов сплит-теста.

Доверительные интервалы используются в A/B-тестировании, чтобы минимизировать риск возникновения ошибки выборки. В этом смысле мы управляем риском, связанным с внедрением нового варианта страницы.

Поэтому, если ваш инструмент показывает что-то наподобие: «Мы на 95% уверены, что коэффициент конверсии составляет X% ± Y%», тогда вам нужно учитывать ± Y% как предел погрешности.

Достоверность результатов во многом зависит от величины погрешности. Если два диапазона конверсии перекрываются, вам необходимо продолжить тестирование, чтобы получить результат, более похожий на правду.

Угрозы внешней валидности

Сплит-тесты усложняет тот факт, что данные не статичны.

Временной ряд можно назвать стационарным, только если его статистические свойства (среднее значение, дисперсия, автокорреляция и т. д.) постоянны во времени. По многим причинам данные веб-сайта не являются стационарными. Следовательно, мы не можем делать те же предположения, что и для стационарных данных. Вот несколько факторов, из-за которых данные могут меняться:

• Время года;
• День недели;
• Каникулы;
• Позитивные или негативные упоминания в прессе;
• Другие маркетинговые кампании;
• PPC/SEM;
• SEO;
• Сарафанное радио.

Это лишь некоторые из факторов, которые нужно учитывать при анализе результатов A/B-тестов.

 

Байесовская и частотная статистика

Многие популярные инструменты позволяют использовать как Байесовский, так и частотный подход к A/B-тестированию. Чем они отличаются?

Говоря простыми словами, в Байесовской статистике гипотезе присваивается вероятность, а в частотной статистике она проверяется без присвоения вероятности.

У каждого подхода есть свои преимущества. Однако, если вы только начинаете постигать азы A/B-тестирования, то беспокоиться о выборе методологии вам нужно в последнюю очередь.

Вывод

A/B-тестирование — это бесценный кладезь информации для всех, кто принимает решения в онлайн-среде. Приложив немного знаний и много усилий, вы сможете уменьшить многие риски, с которыми сталкивается большинство начинающих оптимизаторов.

Углубившись в тему, вы сможете опередить 90% людей, занимающихся веб-аналитикой. Опыт и постоянная практика позволят вам в совершенстве овладеть этим методом исследования. Так что начинайте проводить тесты!

Ответы на 20 самых распространенных вопросов по A/B тестированию

A/B тестирование – относительно новый, но очень эффективный инструмент повышения конверсии. В Google Trends интерес к нему растёт на 50-90 % в месяц. Это порождает много вопросов, ответы на которые непросто найти. Раньше было непросто найти.

Что такое A/B тестирование?

Это один из самых эффективных методов повышения конверсии. A/B тестирование позволяет определить, какой вариант страницы лучше конвертирует посетителей в покупателей.

Таким образом, вы можете точно узнать как изменение дизайна страницы или какого-либо определенного элемента влияет на показатель конверсии. Мало того, что A/B тестирование позволяет изменять сайт только в лучшую сторону, так как все решения основываются на статистических данных, собранных в ходе эксперимента. Так это ещё позволяет избавиться от всех предположений и разногласий в вашей команде относительно сайта, когда каждый пытается навязать свою точку зрения.

A/B тестирование – это только цифры. Цифры, основанные на действиях посетителей. Результаты экспериментов говорят сами за себя и направляют вас на верный путь. Конечная цель A/B тестирования – повысить показатели прибыли, регистраций, скачиваний и т.п. И достигается эта цель за счёт полноценного понимания своей аудитории.

Как провести A/B тестирование сайта?

Есть два варианта: бесплатный и платный.

Бесплатно провести эксперимент можно с помощью Google Analytics Content Experiment либо самописных скриптов.Чтобы создать эксперимент через Google Analytics, нужно перейти во вкладку «Поведение» > «Эксперименты». И там уже можно создать эксперимент.

Что касается самописных скриптов для распределения трафика, то более подробную информацию можно найти здесь. Лично я никогда не пользовался этим вариантом и не собираюсь этого делать.

Главный недостаток этих двух вариантов – тестовые варианты страницы придётся создавать самостоятельно.

Фактически, нужно будет сверстать новую страницу с определённым изменением. Новая страница будет иметь ссылку типа www.boosta.ru/?variation=1. Ещё один недостаток бесплатных способов – отсутствие дополнительных функций, которые предоставляют сервисы.

Но гораздо удобнее и быстрее проводить эксперименты с помощью специальных сервисов:

• Changeagain.me (Наш сервис для тех, кто использует Google Analytics. Есть русскоязычная версия)
• Optimizely.com (Самая крупная компания в сфере A/B тестирования. Сконцентрирована на работе с крупными клиентами)
• VWO.com (Крупный игрок на рынке A/B тестирования с хорошим функционалом)
• Convert.com

Подробный список сервисов для A/B тестирования с описанием функционала и стоимостью можно найти здесь.

В чём преимущества сервисов:

• простота создания тестовых вариантов через визуальный редактор (без знаний программирования)
• дополнительный функционал
• единовременная установка кода (эксперименты обновляются автоматически)

Главное преимущество сервисов для A/B тестов – визуальный редактор для создания тестовых вариантов

В некоторых средних/крупных компаниях разработчики пишут софт конкретно под свои потребности. Это вполне целесообразно, если функционала сервисов недостаточно. Сколько это стоит – сложно сказать. И тут уже в каждом конкретном примере нужно оценивать рациональность собственной разработки.

С чего лучше всего начать A/B тестирование?

В первую очередь нужно тестировать те элементы, которые напрямую влияют на конверсию. Это СТА-кнопки, формы на сайте, текстовые элементы на посадочной странице, изображения, видеоролики. Каждый перечисленный элемент играет важное значение в воронке продаж.

Попадая на страницу, посетитель чаще всего сталкивается с текстами (заголовки, подзаголовки, описания), изображениями, видеороликами продукта. С этого начинается знакомство с продуктом. Соответственно, изменяя эти элементы, можно влиять на его восприятие, первое впечатление.

Далее ему предлагается заполнить форму: оставить номер, свой e-mail, ввести личные данные и т.п. На этом этапе отваливается большое количество потенциальных клиентов. Соответственно оптимизация форм может значительно повысить конверсию.

После заполнения формы посетителю в любом случае необходимо отправить её и здесь уже происходит взаимодействие с СТА-кнопками (кнопками призыва к действию). Кликабельность кнопки может зависеть от текста, цвета, расположения, размера кнопки и т.п.

Таким образом, все эти элементы играют важную роль в процессе взаимодействия посетителя с сайтом. Поэтому начинать тестирование лучше с них. Запускать такие эксперименты относительно просто. И вероятность получения положительного/отрицательного результата гораздо выше.

Сколько изменений можно делать в тестовом варианте страницы?

Одно из правил A/B тестирования: 1 тест – 1 гипотеза.

Пример гипотезы: «Если мы уберём поле «Имя» из формы подписки, то больше людей будут заполнять форму, в результате чего увеличится база подписчиков». Правильный A/B тест подразумевает одно изменение. Анализируя результаты такого эксперимента, вы будете точно знать, что именно это изменение повлияло на конверсию.

Если в этом примере мы ещё изменим текст кнопки «Подписаться», её цвет, и текст, стимулирующий заполнить форму, то по окончанию эксперимента будет сложно сказать, что именно повлияло на показатель конверсии. Возможно, она увеличилась за счёт поясняющего текста, а измененная кнопка наоборот негативно повлияла на конверсию. Но первое перевесило второе. А, может, нет? Никто уже не узнает этого.

Как долго должен продолжаться эксперимент для получения достоверных результатов?

Минимальная длительность A/B теста – 7 дней.

Неделя выбрана не случайно, т.к. эксперимент будет показан в каждый день недели. 7 дней нужно ждать, т.к.

поведение посетителей может различаться в пятницу и субботу. В пятницу мы сидим на работе и выбираем, что купить, а в субботу, в спокойной обстановке, лёжа на диване, совершаем покупку. Или наоборот. Это неважно.

Факт остаётся фактом: поведение пользователей отличается в разные дни недели. 

Если вы будете тестировать менее недели, то результаты могут быть неточными. Вообще, Peep Laja, эксперт в области увеличения конверсии и создатель соответствующего агентства ConversionXL, советует проводить A/B тест 2-4 недели для получения достоверных результатов.

Сколько трафика и конверсий нужно, чтобы провести A/B эксперимент правильно?

Недостаток трафика и конверсий – одна из самых главных проблем в A/B тестировании на небольших сайтах. Полагаться на результаты экспериментов с маленькой выборкой опасно. Слишком велика вероятность ошибки.

Часто говорят про 100 конверсий на каждый вариант страницы: оригинальный и тестовый. Но этого может быть недостаточно.

Если в оригинальном варианте количество конверсий 100, а в тестовом 110, то сделать достоверный вывод сложно.

С другой стороны, если разница между показателями значительная, например, 100 и 170 конверсий, и соблюдаются остальные условия (эксперимент длится не менее 7 дней, статистическая достоверность (значимость) более 95 %), то сделать достоверный вывод будет легко.

Здесь же стоит сказать и о статистической достоверности. Результат можно считать статистически достоверным, если мала вероятность его случайного возникновения. Во всех сервисах для A/B тестирования встроены алгоритмы, которые рассчитывают достоверность автоматически. Если же хотите лично перепроверить результат, то можете воспользоваться калькулятором компании Driveback.

Минимум 100 конверсий на каждый вариант. Статистическая достоверность – от 95 %

Как вы уже поняли, не получится провести достоверный эксперимент на сайте, где в день 1-2 конверсии. Слишком сложно будет получить достоверные результаты.

Нужно ли владеть навыками программирования для запуска A/B эксперимента?

Если запускать тесты через Google Analytics Content Experiment, собственные разработки или самописные скрипты, то без знаний программирования не обойтись.

Если использовать платные сервисы, то чаще всего можно обойтись без этого. При условии, что вы проводите не слишком сложные эксперименты, которые требуют использования JS/jQuery. Для большинства экспериментов визуального редактора достаточно. Все изменения делаются в режиме WYSIWYG (What You See Is What You Get – Что видите, то и получаете).

Каким образом происходит запуск эксперимента через специальные сервисы?

После создания тестового варианта в визуальном редакторе, настройки цели эксперимента, выбора таргетинга и других дополнительных функций, вам даётся специальный js-код. Этот код размещается в страницы, на которой вы собираетесь проводить A/B эксперимент. Код нужно обязательно разместить до закрывающего тега, иначе эксперимент либо вообще не будет работать, либо будет работать неправильно.

Ещё один важный нюанс установки кода – его нельзя вставлять на сайт через Google Tag Manager. Если поставить код через GTM, то при загрузке страницы будет происходить мигание, т.к. сначала будет загружаться оригинальная страница, а только потом тестовая.

Если вы имеете доступ к админке сайта и знаете, как его поставить в , то сами осилите эту задачу. Если нет, придётся просить программиста, который отвечает за ваш сайт. Хорошо то, что коды платных сервисов устанавливаются лишь один раз, после чего запуск эксперимента происходит автоматически, и уже не придётся дергать программиста.

После того, как код размещён на странице, весь трафик автоматически распределяется 50/50 (если вы тестируете 2 страницы: оригинал и тестовый вариант. При 3-ёх вариантах распределение будет следующим: 33%/33%/33%). Распределение происходит автоматически и абсолютно случайно через алгоритмы сервисов.

В начале эксперимента количество показов тестового и оригинального варианта может отличаться. Но по мере увеличения выборки эти цифры становятся практически одинаковыми. Тут та же ситуация, что и с подбрасыванием монетки. Подбросим больше – получим практически одинаковый результат. Подбросим 10 раз – может 7 раз выпасть один и тот же вариант.

A/B тесты негативно влияют на SEO-оптимизацию сайта?

A/B тесты никак не влияют на SEO-оптимизацию сайта. Это миф.

Этот факт был подтвержден ещё в 2012 году сотрудником компании Google.

Тестовый вариант загружается динамически, когда пользователь заходит на сайт. Для отображения используются Javascript и куки. А Googlebot и другие поисковики не поддерживают Javascript и куки. Поэтому они видят только оригинальный вариант. Благодаря этому можно спокойно делать A/B тесты.

A/B тестирование замедляет загрузку сайта?

При использовании сервисов для A/B тестирования или Google Analytics Content Experiment сайт грузится точно так же, как и в обычном режиме. Абсолютно ничего не меняется в плане скорости загрузки. Так происходит благодаря тому, что все сервисы используют асинхронный код, т.е. он не мешает загрузке других компонентов веб-страницы.

Откуда брать идеи для A/B тестирования?

Идеи для A/B тестов нужно брать из веб-аналитики, анализа поведения юзеров, общения с ними

Это идеальный вариант.

Для генерации хороших идей придётся воспользоваться дополнительными сервисами типа Google Analytics, Яндекс.Метрика, сервисами опросов и т.п.

У нас на сайте есть целый раздел, посвящённый инструментам для увеличения конверсии. Там вы можете более подробно ознакомиться со всеми сервисами.

Типичный пример генерации идей для A/B тестирования:

У вас на сайте есть форма регистрации. Заходим в Яндекс.Метрику и использует «Аналитику форм». В ходе анализа вы понимаете, что при заполнении поля «Компания», большинство людей стопорится. 50 % из них закрывают сайт. 50 % тратят на заполнение в два раза больше времени, чем на остальные поля формы.

Какой из этого можно сделать вывод?

Этот вопрос ставит в ступор ваших потенциальных клиентов. Если эта информация не является ключевой, то в тестовом варианте можно убрать это поле и посмотреть, как изменится количество регистраций.

Это простой пример гипотезы для A/B тестирования, основанный на анализе сайта.

Другой вариант – использование идей, которые работают на чужих сайтах. Мы составили огромный список из 100 идей для A/B тестов, которые были применены на практике. Здесь можно ознакомиться с ними: Часть первая и Часть вторая.

Но я советую вам не полагаться полностью на такие списки идей. Они могут направить ваши мысли в нужное русло, но просто взять оттуда идею и реализовать на своём сайте – это не самый лучший вариант.

Анализируйте свой сайт, анализируйте поведение пользователей на нём, общайтесь со своими потенциальными и текущими клиентами. И вы точно будете знать, что не так на сайте и что на нём можно изменить.

Можно ли полагаться на результаты чужих A/B экспериментов?

Чужие кейсы можно и нужно анализировать. Особенно, если это кейсы ваших конкурентов или компаний, которые работают в смежной отрасли или имеют одинаковую целевую аудиторию. Но полагаться полностью на чужие кейсы, как и на подборки идей, — это плохая практика.

Что работает на одном сайте, необязательно будет работать на другом. Каждый сайт индивидуален. Целевая аудитория разная. Взаимодействие с ней – разное. Реализация чужого успешного кейса может даже негативно повлиять на эффективность сайта. Поэтому никогда не полагайтесь на 100 % на результаты чужих тестов.

Тестируйте всё сами и только на основе этого делайте вывод об эффективности изменений.

Статья в тему: 10 успешных кейсов A/B тестирования

Какие A/B эксперименты чаще всего приносят положительный результат?

Если вкратце, то в большинстве A/B тестов положительно работают следующие идеи:

• Статическое изображение с одним УТП лучше, чем автоматический слайдер с несколькими УТП
• Меню в стиле «Гамбургер» + слово «Меню» работает лучше, что просто гамбургер
• Фиксированные хедер (шапка) или футер (подвал) с призывом к действию («Подписаться», «Заказать звонок» и т.п.) всегда увеличивают конверсию
• Видео с описанием продукта/услуги положительно влияют на конверсию
• Уменьшение количества полей в формах
• Размещений контактной информации всегда заметной для посетителя
• Живой чат
• Использование реальных отзывов работает лучше, чем их полное отсутствие
• Добавление возможности совершить покупку без регистрации. Покупаешь в режиме «гостя», и только потом тебя просят зарегистрироваться.
• Бесплатная доставка

Как правильно анализировать результаты A/B тестов?

При создании эксперимента всегда выбирается 1 цель (в некоторых сервисах есть возможность выбрать сразу несколько целей), по которой будет измеряться успешность эксперимента. Например, кликабельность кнопки «Узнать цену» (1-ый этап воронки продаж).

Анализ эксперимента начинается именно с этого показателя. Если он увеличился и все условия A/B тестирования соблюдены – окей, поздравляю! Скорее всего, вы провели успешный A/B тест. Но! На этом анализ не заканчивается.

Если вы делаете A/B тест через Google Analytics, Changeagain.me или другие сервисы, где реально настроить интеграцию с GA, то у вас есть возможность провести подробный анализ эксперимента.

А именно вы можете:

• посмотреть, как изменились показатели конверсии других целей, установленных на этом сайте
• применить любой сегмент к результатам эксперимента и сделать анализ в разрезе отдельных групп пользователей
• посмотреть, как изменились базовые показатели взаимодействия с сайтом – показатель отказов, средняя продолжительность сеанса, среднее количество просмотренных страниц.

Анализ влияния на другие цели в воронке продаж – очень важный нюанс при работе с результатами A/B эксперимента. Если этого не делать, то можно оказаться в ситуации, когда кликабельность на первом этапе воронки продаж увеличилась, а конверсия на последнем этапе – уменьшилась.

Вот очень показательный кейс на эту тему. Всем урок, так сказать – Самая большая ошибка в A/B тестировании

Можно ли проводить параллельно несколько тестов?

Да, можно. Но есть один очень важный нюанс. Аудитория этих A/B тестов не должна пересекаться. Если она не пересекается, то всё окей. Делайте хоть сколько экспериментов одновременно.

Если пересекается, то возникает проблема. Например, на главной странице посетитель может увидеть тестовый вариант страницы. Далее, во втором эксперименте, на следующей странице он увидит оригинальную версию, а в третьем эксперименте – опять тестовую. В итоге получается полная путаница. В конечном счёте, это повлияет на достоверность результатов.

Можно ли получить быстрые результаты от A/B тестирования?

Нет. Скорее всего, у вас не получится за счёт одного эксперимента повысить конверсию сайта и улучшить эффективность бизнеса.

Это не волшебная пилюля, которая помогает решить все проблемы на сайте. Большая часть A/B экспериментов не будут успешными.

Чтобы A/B тестирование было успешным, нужно систематично работать над этим. Нужно тестировать гипотезу за гипотезой, делать выводы и продолжать тестирование. Только в таком случае оно будет приносить результаты.

Кстати, неудачные A/B тесты – это тоже отличный источник информации о своей целевой аудитории. Вы узнаете, что гипотеза не сработала, значит, это изменение никак не влияет на поведение пользователей. После этого гипотезу можно вычеркнуть из плана и идти дальше к пониманию аудитории.

Как часто нужно проводить A/B тесты?

В идеале, тесты нужно проводить постоянно, один за другим. Схема работы над увеличением конверсии должна представлять нечто подобное: Формулировка гипотеза – Приоретизация гипотез – Тестирование гипотезы – Сбор данных – Анализ данных – Тестирование другой гипотезы (при этом учитывая результаты предыдущих экспериментов)

Если вы не проводите тесты на сайте, то фактически каждый день упускаете возможность увеличить конверсию сайта. Трафик постоянно идёт, а вы не пользуетесь моментом. Это что-то вроде упущенной выгоды: в вашем бизнесе всё круто, но ведь может быть и лучше.

Чем A/B тестирование отличается от мультивариантого и сплит-тестирования?

A/B тестирование: В тестовом варианте(ах) меняется только один элемент (Например, кнопка «Оформить заказ» вместо «Купить»).

Сплит-тестирование: Тестовый вариант(ы), как правило, сильно отличается от оригинальной версии, т.е. изменено много элементов на странице. В сплит-тестировании изменения делаются не в визуальном редакторе, а подготавливаются разработчиками сайта. После этого тестовому варианту присваивается ссылка типа Boosta.ru/?variation-1 и весь трафик распределяется между оригиналом и тестовым вариантом(ами).

Мультивариантное тестирование: В тестовых вариантах используются различные комбинации изменений (Например, 4 варианта текста заголовка и 6 вариантов текста кнопки – в итоге получается 24 тестовых варианта. Вот пример мультивариантного тестирования президенсткой кампании Барака Обамы.

https://www.youtube.com/watch?v=rLCTkUnBfCw