Сколько надо бюджета чтоб подтвердить гипотезу

У джедаев есть весьма популярный вопрос. Ну вот есть у нас 50 гипотез. К примеру,

аудитории надо протестировать. И сколько мне денег нужно потратить, чтоб эти гипотезы все проверить?

Дисклеймер: на конверсию влияет десятки вещей, в том числе креатив и посадочная страница.

У вам может аудитория работать хуже не потому что аудитория хуже, а потому что вы ведёте эту аудиторию не туда, ну или предлагаете этой аудитории не то.

Но вернёмся к задаче. Допустим, мы тестируем в MyTarget новые аудитории.

Действующие кампании сейчас нам привлекают лиды по 5 000 рублей, а конверсия

— 1%. Сколько нам нужно потратить бюджета, чтоб с 80% вероятностью убедиться,

что аудитория не работает или её надо оставить на гораздо больший срок:

Выводим количество выборки 1000 (произвольное число, на текущем шаге это не

важно). Стоимость лида — 5000 рублей. Конверсия — 1%.

Считаем доверительный интервал на выборке 1000 через бета-распределение:

CR(min) = beta.inv(0.1; 1% × 1000; 1000 — 1% × 1000) = 0.62% CR(max) = beta.inv(0.1;

1% × 1000; 1000 — 1% × 1000) = 1.42%

Чтоб посчитать, сколько мы максимум можем заплатить за лид, нам надо вначале

посчитать сколько мы потратим бюджета в текущих рекламных кампаниям:

5000 × (1000 × 1%) = 50000

5000 — это норма стоимости лида 1000 — выборка 1% — конверсия

То есть для текущих кампаний нам нужно в среднем 50000 рублей, чтоб привлечь на

такой выборке 10 лидов, каждый по 5000 рублей.

Теперь считаем при худшем развитии ситуации с гипотезой

Budget / (CR(min) × Sample) = 50000 / (0.0062 × 1000) = 8064 рублей.

Стоимость перехода при этом будет 50000 / 1000 = 50 рублей → кажется все

выглядит адекватно.

Но 50 000 рублей мы тратить не можем, это слишком много. Максимум сколько мы

можем потратить — это 25 000 рублей, при среднем CPC 50 рублей.

Тогда у нас выборка будет в 500 переходов. Какой будет тогда интервал?

CR(min) = 0.49% CR(max) = 1.60%