A/B-тест на малом трафике: вы смотрите на шум

Ваш A/B-тест показал «вариант B лучше на 15%». Если конверсий меньше пары сотен на вариант — скорее всего, вы смотрите на шум.

Математика неприятная. При конверсии около 3% и полусотне конверсий на вариант случайный разброс легко даёт разницу ±20%. То есть «победа B на 15%» и «победа A на 15%» — равновероятные исходы одной и той же монетки. Чтобы надёжно отличить конверсию 3% от 3,5%, нужны десятки тысяч визитов на вариант — у большинства малых и средних бизнесов столько трафика копится месяцами.

В деньгах Цена вопроса — решения, принятые по шуму: переделали лендинг под «победителя», перекроили оффер, отчитались о росте. Реального эффекта нет, а трафик на тест и время команды потрачены настоящие. Хуже того — вы теперь уверены в цифре, которой не существует.

Решение Два честных пути. Первый — тестировать только крупное: оффер, цену, структуру первого экрана, форму заявки. Там эффект бывает +30–50%, и его видно на скромном трафике. Цвет кнопок оставьте корпорациям с миллионами визитов. Второй — заранее посчитать нужный объём выборки (бесплатные калькуляторы ищутся по запросу «размер выборки A/B-теста») и честно решить: «на нашем трафике тест займёт четыре месяца — принимаем без теста, по здравому смыслу и пяти разговорам с клиентами».

Замечание Осознанное решение без теста лучше решения по фальшивому тесту — как минимум вы помните, что это гипотеза, и следите за ней.

Тест стоит запускать тогда, когда у него есть шанс что-то доказать именно на вашем трафике.

Ваш последний «победивший» вариант — сколько конверсий стояло за той победой?