Гайд по A/B-тестированию

A/B тесты — основной метод взлома роста компании и доказанный способ улучшения конверсии. Хотите с первого «дубля» создать идеальную посадочную страницу? Это непродуктивно. Начните с прототипа, затем протестируйте варианты, доведя ее до совершенства. В отличие от рекламы, A/B-тесты ничего не стоят и часто кратно повышают конверсию.

Вот цикл тестирования, который мы подробно рассмотрим в статье:

• Решите, что изменить. Как вы думаете, это может увеличить конверсию?
• Используйте Google Optimize, чтобы показать половине ваших посетителей новый вариант
• Получите статистически значимую выборку посетителей
• Как только будет собрано достаточно данных, Google Optimize сообщит о вероятности того, что ваши изменения вызвали существенную разницу в конверсии. Если рост значителен, внесите изменения в существующую страницу.
• Запишите, что вы изменили, почему вы внесли изменения и каковы были результаты. Единая документация тестирования гипотез поможет вам избежать проведения слишком похожих экспериментов в будущем.
• Повторите шаги 1-5. Никогда не останавливайте тесты, не позволяете трафику «литься» впустую.

North Star Metric: следуй за звездой

Знаете, что хуже отсутствия А/B тестов? Тестирование всего и вся без четкой цели. Сначала нужно выяснить, какое действие в продукте приносит максимальную ценность пользователям. Но как определить, что является ключевым? Для начала понять, какая ваша основная цель из трёх предложенных ниже:

1. Привлечение — сколько времени пользователи проводят в продукте (Facebook, Netflix)

2. Транзакции — сколько оплат проходит через платформу (Amazon, Walmart).

3. Продуктивность — сколько задач пользователи могут решить в сервисе (Salesforce, Adobe).

Для Facebook главная метрика – добавление друзей. Проанализировав поведение пользователей, команда социальной сети выяснила, что человек добавивший 7 друзей в течение 10 дней с момента регистрации будет использовать сервис и в дальнейшем.

1. Найдите ключевое действие, которое приносит ценность (добавление друзей в Facebook)

2. Определение необходимого количества действий (7 друзей)

3. Вычислите время, за которое должны быть совершены эти действия (10 дней с момента регистрации).

Расчет периода времени – наиболее сложная и не всегда реализуемая задача. В таком случае формулировку можно упростить: пользователь совершил Х ключевых действий.

Другой пример — крупнейший стриминговый сервис в мире Netflix – измеряет количество подписчиков, которые смотрят видео больше 60 часов в месяц. Стратегически компании важно не только набрать платных подписчиков, но и увеличивать их вовлеченность в использование продукта (удержание пользователей). При этом с ростом количества подписчиков закономерно растет и доход компании. В качестве периода измерения выбран месяц, потому что Netflix продает месячную подписку на сервис.

Ключевая метрика (далее NSM, north star, метрика «полярной звезды») – показатель, который лучше всего отражает основную ценность продукта для пользователей. Правильно выбранная NSM может обеспечить компании стабильный и устойчивый рост в долгосрочном периоде.

Разберём на примере сервиса доставки еды. NSM – это количество вовремя доставленных блюд. Пришло время построить иерархию метрик, где во главе будет NSM, а под ним — выбранные вами KPI, которые будут влиять на него. Для удобства Amplitude рекомендует делить KPI на 4 измерения: глубина, ширина, частота и эффективность.

Каждая метрика в таблице непосредственно влияет на главный показатель. В виде формулы это можно выразить так

NSM = (N+R)*D*F*E

Рассчитаем NSM:

(100+500)*3*4*0.85 = 6120

NSM = 6120 вовремя доставленных заказов

Такой способ измерения хорошо подходит для синхронизации разных команд. Каждая команда видит свою задачу, эти задачи согласованы между собой и подчинены общей цели.

Генерация идей для A/B тестирования

Исходные тестовые идеи для улучшения ключевой метрики можно получить из:

● Опросы пользователей . Уточните их любимые функции и самые большие проблемы

● Рекламные объявления. Ваши наиболее эффективные объявления содержат текст и изображения, которые можно разместить на вашем сайте. На самом деле, вы должны показывать рекламу с явной целью найти наиболее привлекательный текст и изображения. (

● Сайты конкурентов. Вдохновитесь сайтами успешных конкурентов в своей нише. Они по-другому структурируют свой контент? Они разговаривают с посетителями по-другому? Подготовьте вариант страницы, имитирующий их стиль.

● Просмотр сессий. Используйте инструмент записи визитов, например, вебвизор в Яндекс.Метрике, чтобы найти шаблоны в поведении посетителей. Какие элементы они нажимают? Что игнорируют?

Всегда учитывайте конверсию в конце воронки при оценке результатов A/B-теста. К примеру, вы обнаружили, что вариант B побуждает посетителей нажимать на кнопку регистрации в 10 раз чаще. Но если эти клики не приводят к регистрациям и заказам, то новый вариант на самом деле не лучше оригинала. Однако вы можете протестировать вариант, который уменьшает общее количество регистраций, отсеивая посетителей, которые не собирались платить, но одновременно увеличивает доход за счет лучшего стимулирования потенциальных покупателей, которые были на грани оплаты. То есть если вы только учитываете только регистрацию как показатель успеха, вы сделаете неправильный вывод. К счастью, такой инструмент, как Google Optimize, отслеживает несколько показателей. Тем не менее, вы будете в основном тестировать первые шаги в воронке по двум причинам:

1. Больше данных. Ранние шаги в воронке роста получают больше трафика. Подумайте, во сколько раз количество посетителей превышает число подписчиков и клиентов. Нам нужны достаточные размеры выборки для запуска А/Б тестов. В противном случае их проведение может занять несколько недель. И часто требуется несколько тестов, чтобы найти что-то значительно лучшее.

2. Скорость внедрения. Проще заменить текст или изображения на вашем сайте, чем изменить работу приложения или улучшить продукт.

Тестирование посадочной страницы

Существует два типа вариантов A/B тестирования:

• Микроварианты — небольшие и быстрые корректировки страницы, креатива и макета. И, к сожалению, они вряд ли окажут серьезное влияние.
• Макроварианты — существенное переосмысление вашей страницы.

Потому что изменение цвета кнопки (микро-вариант) никогда не оказывает более 2-5% влияния на конверсию. Но реструктуризация всей страницы (макро-вариант) может увеличить конверсию на 50-300%, если ваша исходная страница ранее не тестировалась. Вы можете провести небольшое количество тестов, потому что ограничены объемом трафика.

Как тестировать микроварианты

● Текст — заголовок, подзаголовок, заголовки элементов, абзацы элементов.

● Изображения — изображение на первом экране лендинга, изображения в контенте, фоновые изображения

● CTA — дизайн кнопки, текст, расположение

● Социальное доказательство — попробуйте разные логотипы компании или разные формы доказательства

● Формы — количество полей, дизайн формы и текст

● Дизайн — интервалы, цвет и стиль шрифта

● Спецпредложения — внедрять чувствительные ко времени скидки

Как проверять макроварианты

Макро-варианты требуют значительных усилий, но это единственный способ видеть лес за деревьями. Используйте пять подходов для генерации идей:

1. Найдите конкурентов с продуманными, хорошо структурированными страницами и попробуйте применить самые удачные элементы на своих посадочных страницах (диаграммы, GIF-файлы и другие средства отображения информации).
2. Обратитесь к другому сегменту клиентов, скажем, матерям, а не подросткам. Возможно, вы неправильно идентифицируете свою самую ценную аудиторию.
3. Сократите объем страницы вдвое — порой уменьшение объема контента увеличивает продажи потому, что посетители менее перегружены информацией. Попробуйте удалить все, что не критично. Будьте лаконичны.
4. Выберите главную ценность продукта и сравните себя с конкурентами. Например, вы либо умный подписчик службы доставки еды, либо тот человек, который тратит время и деньги на рестораны.
5. Объедините несколько микротестов, которые работают на единственную цель, такую как усиление ценности или побуждение посетителей сделать определенное действие.

Приоритизация A/B тестов

Эксперимент A/B имеет альтернативную стоимость; у вас есть так много посетителей, чтобы проверить. Так что расставьте приоритеты в ваших тестах вдумчиво. Помогут пять факторов:

1. Уверенность. Насколько вы уверены, что тест будет успешным? Вы можете проверить достоверность, лучше понимая пользователей: опрашивайте их, следите за их поведением на сайте и изучайте ваши прошлые A/B.
2. Влияние. Если тесты пройдут успешно, как сильно это может увеличить конверсию?
3. Реализация. Насколько легко осуществить тест? Если это потребует значительных усилий со стороны команды, то упростите тест, разбив на части.
4. Уникальность. Является ли ваш новый тест почти копией предыдущего, который не привел к увеличению конверсии? Например, вы изменяете цвет кнопки на втором и третьем экране после неудачного изменения цвета выше на странице? Вы уверены, что в этом есть смысл?
5. Согласованность с брендом. Если добавление агрессивного текста увеличивает конверсию в регистрацию, но противоречит ценностям вашего бренда, возможно, это не лучшая идея.

Настройка A / B тестов

Теперь давайте перейдем к технической составляющей. Я рекомендую проводить один эксперимент за раз. В противном результаты эксперимента могут оказаться недостоверными. Однако в рамках одного эксперимента вы можете запустить несколько вариантов, каждый из которых тестирует определённые изменения на одной базовой странице. Google Optimize тестирует ваши варианты параллельно. То есть ваша исходная страница и ее варианты запускаются одновременно и каждый получает одинаковое количество посещений.

При настройке тестов подумайте, какую аудиторию следуют исключить. Например, рассмотрите возможность показа эксперимента только тем посетителям, которые впервые видят ваш сайт. В противном случае, не все придут с одинаковыми знаниями. У вернувшихся посетителей есть предыдущий опыт, который может исказить итоги эксперимента. Чтобы настроить таргетинг только на новых пользователей в Google Optimize, следуйте примеру 1 в этих инструкциях.

Оценка A/B тестов

Вы провели тестирование. Теперь вы должны разобраться в результатах. Обратите внимание на четыре вещи:

Тестируйте изменения на«холодной»аудитории

Выполняя A/B-тесты для улучшения конверсии, оценивайте результаты поканально. Поисковый трафик по брендовым запросам и переходы с партнерских сайтов, скорее всего, покажут скромные результаты. Потому что это те посетители, которые уже что-то знают о вас, пришли по рекомендации. Вы просто должны подтвердить, что продаете то, что они ожидают, и не отпугнуть их. Напротив, для платного рекламного трафика A/B-тестирование может обеспечить большую отдачу. Ведь часть посетителей ошибочно нажали на ваше объявление и ищут повод, чтобы уйти.

Вывод: если вы используете A/B только для трафика с высоким уровнем намерений, вы можете не заметить значительного улучшения и ошибочно отклонить тест как неудачный. Когда это произойдет, но вы уверены, что у варианта есть потенциал, повторите тест на платном трафике. Вот где улучшение может быть достаточно большим, чтобы заметить его значимость. Когда тесты запускаются на платном трафике коэффициент конверсии можно увеличить в 2-4 раза.

Убедитесь, что выборка была статистически достоверной и тест набрал нужное количество трафика

Статистика подсказывает, что нам нужна достаточно большая выборка, чтобы подтвердить увеличение конверсии. Математика проста:

• Для статистической проверки увеличения конверсии на 6% и более необходим тест на более чем 1000 визитов.
• Чтобы статистически подтвердить увеличение конверсии на 2% и более необходимо более 10 000 посещений.

Это означает, что если у вас мало трафика, альтернативные издержки слишком велики для запуска микро-вариантов, которые, как правило, показывают увеличение конверсии всего в 1-3%. Если вам потребуется несколько недель, чтобы набрать 10 000 визитов сосредоточьтесь на макро-вариантах.

Вы можете провести предварительные расчеты с помощью калькулятора. Кроме того, статус теста отображается в отчетах Google, что позволяет сделать предварительные выводы о результатах, а также решить, продолжать или остановить тестирование:

в ожидании данных — показатели обрабатываются и передаются из аналитики. Подождите 12-24 часа;

нет экспериментов — скорее всего, есть ошибки в настройках или выставлены слишком жесткие рамки при выборе целей и аудитории. Например, установлена связь не с тем аккаунтом Аналитики. Пересмотрите настройку правила таргетинга: возможно, вы указали «равно», и это значительно сузило аудиторию. Проверьте также, правильно ли настроили аудиторию, и убедитесь, что это именно ваша аудитория;

недостаточно сеансов — мало трафика для отображения результата. Остается только ждать, пока выборка достигнет объема, достаточного для анализа;

лидер не найден — одинаковое достижение целей как при использовании оригинала, так и при обновленной версии. Подумайте над новыми гипотезами и запускайте другой тест, а текущий останавливайте — результат существенно не изменится;

лидер — оригинал, т. е. тестируемые варианты сработали хуже. Внедрять изменения не стоит;

несколько лидеров — пара или больше вариантов достигают целей лучше остальных и показывают +- одинаковый результат. Рекомендуется их объединить или запустить новый тест на сравнение лидеров.

Перейдем к трактовке подробных данных по каждой цели. Первая строка в отчетах — исходный вариант. С ним сравниваются все значения обновленных вариантов. В отчетах отображено 4 столбца — показатели вероятности успеха. Вот как стоит их трактовать.

Обратите внимание на столбец вероятность превосходства. Если вероятность варианта превышает 70% и имеет достаточное количество сеансов, результаты являются статистически обоснованными, и этот вариант следует рассмотреть для реализации. Однако внедрять его стоит только, если победивший вариант выигрывает и по финансовым показателям.

Учитывайте финансовые результаты

Внедряйте изменения, которые приносят больше прибыли и увеличивают средний чек. Создайте в Google Analytics кастомный отчет: Меню → Специальные отчеты → Мои отчеты → заполните форму, выбрав параметр ID или Название эксперимента и добавив нужные показатели: количество уникальных посетителей, доход на юзера, коэффициент конверсии, ценность цели за сеанс, транзакции, общую сумму продаж по каждому тестируемому варианту.

Ведите документацию

Используйте инструмент управления задачами, например Trello, чтобы вести подробную документацию по все проводимым и панируемым A/B-тестам. Для каждого запускаемого теста заносите следующие данные в задачу Trello:

• Событие конверсии. Зафиксируйте, что оптимизируем (клики, просмотры, время на сайте).
• До и после. Включите скриншоты и подробное описание тестируемой гипотезы.
• Аргументация. Объясните, почему стоит проводить этот тест.

После завершения теста, внесите в задачу дополнительную информацию:

Даты начала и окончания теста. Продукты меняются со временем, поэтому имейте привязку к временной шкале.

● Результаты. Фактическое изменение конверсии и то, был ли результат нейтральным, успешным или неудачным. Подробную справку Google по интерпретации экспериментов можно посмотреть в этом руководстве.

● Внедрение. Если тест прошел успешно, отметьте был ли вариант фактически внедрен в сайт.

● Размер выборки. Сколько пользователей приняло участие в эксперименте.

● Комментарии. Были ли факторы, которые могли повлиять на достоверность результатов? Например, всплеск трафика с сомнительного источника, который не был исключен из тестовой аудитории.

Держите документацию аккуратно организованной и сверяйтесь с ней, прежде чем запускать новые эксперименты.