Легенда

Студент — мужчина 25-34 лет. Проходит обучение аналитика данных в Яндекс.Практикуме. Находится в блоке A/B-тестирование. По всему курсу красной линией проходит базовый интернет-магазин кроссовок. Данные по нему используют для решения задач.

Поехали.

A/B-тестирование

Привет. A/B-тестирование — это когда нужно понять, какой из вариантов лучше путём их сравнения. Причём варианты могут быть совершенно разные, например цвета кнопки на сайте или характеристики продукта.

Для аналитика, A/B-тестирование один из важнейших инструментов в работе. Мы разобрали весь процесс на простые и понятные шаги. Давайте пройдём этот путь используя уже знакомый нам интернет-магазин кроссовок.

Проблема

Важно понимать, что A/B-тестирование не сугубо профессиональный термин аналитики, маркетинга или прочих профессий, это самая настоящая жизненная штука. Например, вы с другом всегда добираетесь до учебы или работы одним маршрутом, и всегда опаздываете на 5-10 минут. Чтобы не опаздывать, можно вставать пораньше (но это не наш вариант, ведь правда?), либо выбрать другой маршрут. Выбирая другой маршрут, вы договариваетесь с приятелем, что он едет по старому, а вы по новому и тем самым выбираете вариант B тестирования и проверяете его на практике. Приехали быстрее несколько раз подряд — тестирование удалось и проблема с опозданием решена.

Так и в профессиональной среде, в основе каждого А/B-теста лежит проблема, которую необходимо решить. Например мало заказов в магазине кроссовок. Давайте перейдем дальше и посмотрим, как решить эту проблему.

Метрики

Чтобы понять, новый вариант B получился лучше или хуже, нужно выбрать на основе чего сравнивать. В примере с дорогой до работы — это время дороги.

Поэтому на старте A/B-теста важно определить метрику, по которой предстоит сравнивать разные варианты. Например, сколько человек нажмут по кнопкам с разным цветом или CTR кнопки. Это наиболее простая метрика, но зачастую результаты оценивают по более важным показателям.

Пример: Допустим, вы маркетолог и отвечаете за магазин кроссовок. Вы видите, что на сайт в месяц приходят 100 000 человек, из них добавляют кроссовки и переходят в корзину 10 000, а заказ оформляют только 10. Явно, какая-то проблема на этом этапе и нужно протестировать варианты для её устранения. Вы формируете список гипотез. Например, одна из них в том, что форма заявки обуви слишком сложна и непонятна для клиента.

Чтобы её проверить, вы вносите изменения в форму заказа.

В данном случае, оценка эффективности вариантов будет проводиться по показателю конверсии из посещений корзины в заказ.

Подготовка

Итак, мы имеем:

проблема (малая конверсия из корзин в заказы);
вариант А (это когда много корзин, но мало заказов);
вариант B, гипотеза, которая поможет решить проблему (изменения в форме заказа)

Но для старта, этого не достаточно. Важно разобрать текущую форму заказа по крупинкам и обратиться к разработчикам сайта, чтобы они убрали лишнее (или объяснили, что это убирать никак нельзя?)

Например:

в форме имеется поле имени и поле фамилии. Фамилия на данном этапе, только мешает. Удаляем;
в форме есть город. Зачем он нужен тут, когда информацию по городу можно собирать и без этого специальными скриптами? Не за чем — удаляем;
поле для комментария обязательно для заполнения. Не все хотят что-то писать, лучше сделать его не обязательным;
при заполнении email, нельзя ввести доменный адрес почты где после @ идёт адрес сайта (например info@kinopoisk.ru). Адреса могут быть совершенно разными, поэтому убираем такую блокировку.

Кратко говоря, убираем разные гипотезы, мешающие оформлению заказа. Зачастую, такие гипотезы можно увидеть просматривая поведение посетителей на сайте через Вебвизор

Готовый список изменений несём программистам и дизайнерам (при необходимости) либо правим самостоятельно.

Испытания

Осталось определить, кто и при каких условиях будет тестировать новую гипотезу В. Это очень важно и от этого, будут зависеть результаты.

Если вернуться к началу урока и примеру с дорогой до работы, то и вы, и ваш друг должны ехать на одном и том же транспорте, в одно и то же время дня.

Так и с магазином кроссовок, нужно использовать максимально одинаковые условия для теста. Одинаковую аудиторию, её интересы, источники трафика.

Важно: гипотеза В, может ухудшить результат для магазина и вместо 10 заказов, сделать 1. Это провал, поэтому при запуске теста В необходимо определить количество тестируемой аудитории, так называемую экспериментальную группу. Например, 25% посетителей сайта. Оставшиеся 75% будут контрольной группой.

Так и говорим программистам, для четверти входящего случайным распределением делаем редирект на новую версию формы на следующий квартал, месяц, неделю.

При этом стоит определить размер выборки (посетителей вариантов теста), которой достаточно для выбора одного из вариантов.

Формулы для расчёта основаны на математической статистике и чтобы не проваливаться в вычисления, можно воспользоваться уже готовым калькулятором

Для этого вам понадобится взять текущий коэффициент конверсии из корзин в заявку (10/10000=0,1%) и желаемый, после изменений, например 0,3% чтобы получить вместо десяти заявок, тридцать. Получим, что на каждый вариант необходимо привести по 2 402 посетителя.

Анализ результатов

Получив результаты, необходимо проверить, насколько они достоверны. Всё потому, что полагаться на визуальное сравнение по итогам, например тут заявок больше, а тут меньше — нельзя, даже на одинаковом объёме трафика.

Для этого воспользуемся готовым решением Яндекса → калькулятор достоверности Введём показатели по нашим результатам и получим оценку эффективности.

Выводы

Аналитик, должен уметь передать результаты работы любому человеку, например далекому от маркетинга и IT, например логисту, менеджеру или складскому работнику. Поэтому, попробуйте самостоятельно описать полученные результаты.

Ну а в следующем уроке мы обогатим их данными по сайту и оформим всё в понятный дашборд данных.