ROI 4173% в отчёте и −63% в эксперименте

В отчётах eBay поисковая реклама показала ROI 4173%. Потом eBay выключил её в 68 регионах и увидел −63%.

Отчёт кабинета делит заказы между кликами по правилу. Что случилось бы без рекламы, он не знает — это показывает только контрольная группа. Facebook сверил 663 пары «тест — контроль» со своими же отчётами: медианный истинный прирост покупок 5%, а лучшие наблюдательные методы ошибались в разы. Льюис и Рао на 25 экспериментах посчитали, что различить «ROI 10%» и «ROI 0%» не хватает данных даже у компании с миллионами клиентов.

Замечание За десять лет я видел сотни отчётов, где реклама «принесла» 80% заказов, и ни одного, где эту цифру проверили выключателем. Половину таких отчётов я собирал сам.

В деньгах Директ на 400 тысяч в месяц, 200 заявок, 60 сделок, маржа со сделки 15 000 ₽. Отчёт по последнему клику приписывает рекламе 160 заявок: заявка 2 500 ₽, сделка из рекламы 8 300 ₽, всё сходится. Если настоящий прирост вдвое меньше отчётного, заявка стоит 5 000 ₽, сделка 16 700 ₽ — дороже маржи. Тот же бюджет, тот же отчёт, канал из прибыльного стал убыточным. Вопрос «какая доля» стоит здесь 200 тысяч в месяц.

Встроенного инструмента у Яндекса для этого нет: варианта «не показывать» в A/B-экспериментах Директа нет, исследования прироста работают только для медийных кампаний. Остаётся гео-тест руками — четыре недели плюс две недели наблюдения, порядок в статье. Отчёт показал ROI 4173%, эксперимент — минус 63%: что 700 полевых экспериментов говорят о приросте от рекламы

Подведём итог. Отчёт кабинета делит заказы, прирост измеряет эксперимент, и чем теплее аудитория, тем сильнее отчёт завышает.

Какая доля заявок из вашего отчёта по Директу случилась бы и без него? Проверить это стоит четыре недели теста, не знать — каждый месяц.