Почему этот семинар случился?

Когда я был на стажировке, Рома, мой ведущий, предложил сделать простой инструмент который поможет оценивать площадки.

Тогда я подготовил оценку по РСЯ на основе данных, взятых из метрики. Оценка была довольно простой, если площадка не дает лиды по той стоимости, которая нам нужна → отключаем.

Через месяц, уже работая над проектом, я осознал, что нельзя отключать площадку, потому что сейчас она не выполняет условие по стоимости цели. Да и какую выборку использовать?

Я пересмотрел около 10 семинаров и лекций, которые можно найти в интернете. Почти все советовали ждать 200 кликов, и потом оценивать, хорошая ли это площадка. Но 200 кликов — это от 800 до 2000 рублей потраченного бюджета на одну площадку. Это было слишком много, мне хотелось делать выводы, когда я уже получил хотя бы 20-25 переходов.

Как оценивать, когда данных очень мало?

Давайте представим себе, что у нас есть 8 площадок:

В данный момент нам не хватает бюджета, который был потрачен на эту площадку. Для Яндекс.Директа — это не проблема. Данные можно взять из Метрики или из «Мастера отчетов». И там и там у нас есть информация о переходах, конверсий и потраченного бюджета. Этих данных нам достаточно чтоб принять решение:

Итак, у нас появился бюджет и мы можем посчитать стоимость конверсии. Это бюджет поделенный на количество переходов.

Допустим, нас устраивает если конверсия равно или меньше 300 ₽. Какие площадки мы тогда должны отминусовать?

Но будет ли правильным решением отминусовать площадку m.avito.ru, которая сейчас показывает результат 305 ₽? Ведь если следующий переход завершится конверсией, тогда стоимость это конверсии будет уже 292 ₽. Очень тонкая грань!

Именно тут нам поможет статистика. В статистике есть определение «нормальное распределение». Каждая выборка в нашем мире (за редким исключением) распределяется как кривая Гаусса:

Чтоб это как-то доказать, я хотел бы взять тут распределение возраста сотрудников в IT-Agency. Когда я построил гистограмму — понял, что выборки тут явно не достаточно!

Когда в IT-Agency будет 1000 сотрудников, думаю… мы увидим нормальное распределение и кривую Гаусса. Но чтоб доказать что нормальное распределение — это как закон нашего мира, показываю график роста человека (мужчины и женщины) в нашем мире:

Как видите — чем больше выборка, тем яснее видна кривая Гаусса.

На этом графике видно, что начиная с центра «горба» идут промежутки, равные 1, 2, 3 сигм, и в другую сторону -1, -2, -3.

Первые столбцы — это 68,26%, Первые и вторые столбцы — 95,44%

95% здесь это 95% всей выборки. Этого достаточно чтоб предсказать результат, исключая выбросы.

В Excel есть формула «бета-распределения». Это биноминальный доверительный интервал.Он отлично подходит для сферы интернет-маркетинга, потому что мы фактически используем два исхода — орел или решка — была конверсия или нет.

Вот эти формулы:

Чтоб посчитать нижнюю границу или нижний хвост, то используем начало этого хвоста 2,5%. А во второй формуле отсечем данные начиная с 97,5%. Давайте подставим эти формулы в нашу таблицу:

Теперь видно, что сайт m.avito.ru теоретически может достичь конверсии в 5,83% → до 34 конверсий при такой же выборке. Теперь, используя максимально возможный результат посчитаем минимальную стоимость конверсии:

В итоге мы получили минимальную стоимость конверсии, которую может выполнить эта площадка. И уже тут можно начинать принимать решение. Те площадки, которые не выполняют условие <= 300 ₽ → добавляем их в минус-площадки.

Сегодня я хотел бы рассказать, как можно использовать «доверительные интервалы» в других задачах. Про A/B-тестирование я буду рассказывать 15 марта в Клубе веб-аналитиков. А про тестирование рекламных кампаний могу рассказать уже сейчас:

Допустим, у нас есть РК с 10 000 переходами и всего двумя конверсиями. При этом мы уже потратили 30 000 рублей бюджета. Стоит ли нам закончить этот тест или стоит его продолжить?

Наша цель 5000 рублей. Чтоб ответить на этот вопрос, нам нужно построить доверительный интервал. Нам хватит только верхний хвост интервала.

Максимальный результат, который мы можем достигнуть: 7 конверсий. Делим бюджет на максимальное количество конверсий и получаем 4 154 ₽ ← минимально-возможная стоимость конверсии. Это результат с 95% точностью.