Отчёт показал ROI 4173%, эксперимент — минус 63%: что 700 полевых экспериментов говорят о приросте от рекламы

TL;DR Отчёт кабинета делит заказы между кликами по правилу. Что случилось бы без рекламы, он не знает; это знает только эксперимент с контрольной группой. У eBay регрессия по данным кабинета дала ROI поисковой рекламы 4173%, эксперимент по регионам дал −63%. На 663 парах тест-контроль в Facebook медианный истинный прирост покупок оказался 5%, а лучшие наблюдательные методы ошибались в разы. Льюис и Рао на 25 экспериментах показали: различить «ROI 10%» и «ROI 0%» не хватает данных даже у компаний с миллионами клиентов. Ниже четыре истории с числами, перевод в рубли, гео-тест для Директа своими руками и раздел «где это не про вас». Чтение — минут двадцать.

Я Егор, десять лет в перформанс-маркетинге. За эти годы я видел сотни отчётов, где реклама «принесла» 80% заказов, и ни одного, где эту цифру проверили выключателем. Половину таких отчётов я собирал сам. Сегодня разбираю чужие эксперименты, в которых выключатель нажали: у кого-то по регионам, у кого-то по людям. Все числа я взял из рецензируемых статей, их рабочих версий и корпоративных документов, ссылки в конце. Где считаю сам, стоит пометка «прикидка».

Один вопрос, три способа ответить

Простыми словами Прирост от рекламы — заказы, которых без неё не случилось бы. Атрибуция — правило, по которому кабинет делит все заказы между кликами: последний клик, первый клик, «по данным». Атрибуция говорит, кто касался клиента; прирост говорит, что изменила реклама.

Измерить прирост можно тремя способами.

1. Отчёт кабинета и сквозная аналитика. Сравнивают тех, кто видел или кликал рекламу, с теми, кто не видел. Дёшево, всегда под рукой, и, как покажут истории ниже, ошибается в разы, почти всегда в большую сторону.
2. Регрессия. Расход по дням и регионам против продаж по дням и регионам. Выглядит наукой, в истории про eBay даёт 4173%.
3. Эксперимент с контрольной группой. Часть людей или регионов рекламу не видит, остальные видят. Разница между группами и есть прирост. Единственный способ, который измеряет.

Про то, как атрибуция назначает героев, я писал в разборе последнего клика. Сегодня про третий способ и про то, что он показал.

История первая. eBay выключил рекламу: что случилось с продажами?

Томас Блейк, Крис Носко и Стивен Таделис, журнал Econometrica, 2015. Двое из трёх авторов работали в eBay, и компания дала им нажать выключатель.

Брендовые запросы В марте 2012 года eBay остановил рекламу по запросам со словом «ebay» на Yahoo! и Bing, оставив её на Google как контрольную группу. Клики по рекламе исчезли, и 99,5% из них тут же вернулись через органическую выдачу тех же поисковиков. Относительно контроля трафик упал на 0,5%. Повтор в Германии в январе 2013 года, где брендовую рекламу выключили в 8 из 16 земель, выручку не изменил. Вывод авторов дословно: для брендовых слов органическая выдача «почти идеальная замена платной». После этих экспериментов eBay перестал покупать брендовые слова.

Небрендовые запросы В США 210 рекламных регионов. eBay выключил всю небрендовую поисковую рекламу в 68 из них на 60 дней, 142 региона остались контролем.

• Продажи, которые кабинет приписывал рекламе (покупка в течение суток после платного клика), в тестовых регионах упали на 72%. По отчёту без рекламы уходило 72% «её» продаж.
• Вся поисковая реклама, по оценке эксперимента, добавляла к продажам 0,66%, и это отличие статистически неотличимо от нуля. Реклама, приписанные продажи которой упали на 72%, на общие продажи регионов не повлияла.
• ROI. Регрессия выручки на расход без поправок даёт 4173%. Регрессия с поправкой на регион и день даёт 1632%. Эксперимент даёт −63% с доверительным интервалом от −124% до −3%. Авторы отвергли гипотезу, что канал окупается.

Почему так. Авторы разложили эффект по людям. У тех, кто ни разу не покупал на eBay, и у тех, кто не покупал больше года, реклама продажи поднимала. У тех, кто покупает больше трёх раз в год, эффект был ноль: они и так шли на eBay. А большая часть продаж, приписанных рекламе, приходилась именно на них. Цитата, которую я бы повесил над столом любого закупщика: «Грубо говоря, поисковая реклама работает, только если потребитель не знает, что у компании есть нужный товар».

Замечание Сами авторы оговаривают: «это может быть неверно для маленьких и новых компаний без узнаваемости бренда». eBay знали все, у него первая строка органики по любому запросу со своим именем и никого из конкурентов на своём бренде. Ваш бизнес устроен иначе, и дальше я покажу, насколько.

Та же схема на компании поменьше: половина трафика пропала

Лоренцо Ковьелло, Ури Гнизи и Лоренц Гётте повторили дизайн eBay на Edmunds.com, рабочая статья CESifo, 2017. Edmunds — автомобильный справочник из верхнего процента сайтов США, но по слову «Edmunds» торгуются конкуренты. Брендовую рекламу Google выключили в 105 из 210 регионов на четыре месяца.

Результат: платный трафик упал на 9,8 процентных пункта от общего, органика выросла на 4, общий трафик просел на 5,6–6,2 пункта. В органику вернулось меньше половины брендовых кликов. В регионах с высокой долей платного трафика ушло 72%.

Третья точка на той же шкале от Google. Дэвид Чан с коллегами в 2011 году собрали 446 случаев, когда расход рекламодателя на поиск падал больше чем на 95%, и посмотрели, сколько кликов подхватила органика. Не подхватила 89% кликов, взвешенных по объёму. Оговорок две, и обе от самих авторов: это клики, заказов там не считали; брендовые запросы они отдельно называют случаем, где замещение высокое.

Получается одна шкала: eBay вернул 99,5% брендовых кликов бесплатно, Edmunds меньше половины, средний рекламодатель Google 11% кликов. Малый бизнес в России стоит ближе к правому краю: конкуренты на имени есть, органики мало. Где именно, отчёт не скажет.

Когда брендовую рекламу надо покупать: цифры с Bing

Шкала говорит, сколько кликов вернётся бесплатно. Сколько стоит защита бренда, посчитали на Bing Андрей Симонов, Крис Носко и Джастин Рао, журнал Marketing Science, 2018. Bing девять дней случайным образом менял число объявлений над органикой для 2517 брендов.

• Без конкурентов на бренде собственная реклама добавляет 2,27% трафика на сайт. За один клик, которого без рекламы не было бы, бренд платит примерно за 16 кликов, которые были бы бесплатными. Цена такого прироста примерно в 16 раз выше номинальной цены клика.
• Если бренд молчит, а сверху стоит конкурент, конкурент забирает 12–18% трафика. Четыре конкурента над молчащим брендом забирают 42–45%.
• В продолжении 2021 года Симонов и Хилл посчитали цену защиты: при одном конкуренте она в 4,5 раза выше номинальной цены клика по бренду, при трёх в 2,6 раза.

Правило из этих двух статей переносится в Директ один в один: прежде чем решать про брендовую кампанию, откройте выдачу по своему названию из режима инкогнито. Никого нет над вами — реклама даёт единицы процентов прироста по цене в разы выше клика. Стоит конкурент — молчание стоит десятки процентов брендового трафика. Четыре ситуации, когда бренд выкупать надо, я разбирал в статье про цену брендовых запросов; Bing дал им числа.

История вторая. Yahoo!: всплеск был и в контрольной группе

Рэндалл Льюис, Джастин Рао и Дэвид Райли, конференция WWW, 2011. Крупный американский рекламодатель на один день выкупил главную страницу Yahoo!. Контрольная группа вместо его баннера видела социальную рекламу. Исследователи считали, сколько людей после показа искали бренд рекламодателя.

Истинный прирост брендовых поисков, тест против контроля: около 5%. Оценка «видевшие против невидевших», как её посчитал бы любой кабинет: +1198%, в двести раз больше. С поправками на активность пользователя за неделю до кампании: 871–894%. Оценка «до и после» по одним видевшим: примерно удвоение, в двадцать раз больше правды. В контрольной группе, которая рекламу не видела, всплеск брендовых поисков в день кампании был точно таким же.

Механизм авторы назвали activity bias, смещение активности. Чтобы увидеть рекламу, надо быть в сети, а тот, кто сегодня активнее в сети, сегодня активнее во всём: ищет, кликает, регистрируется, покупает. Показ рекламы связан со всеми онлайн-событиями дня, и связь эта не причинная. Цитата из их же обзора: с такой ошибкой «можно показать, что почти любое поведение в браузере вызвано почти любым другим поведением в браузере».

Льюис и Райли в эксперименте с розничной сетью на 1,6 млн клиентов получили обратный знак. Реклама подняла покупки на 5%. Если сравнить видевших с невидевшими в той же выборке, покупки бы «упали»: те, кто больше сидит на Yahoo!, меньше покупали у ритейлера ещё до кампании. Заодно два числа, которые ломают привычку считать по кликам: 93% прироста продаж случилось в обычных магазинах, 78% прироста дали люди, которые по рекламе не кликали.

Что это значит для вашего отчёта «Конверсии после просмотра» и «ассоциированные конверсии» в любом кабинете считаются именно так: видевшие против невидевших. Почти всегда это верхняя граница; редкое исключение — когда видевшие и без рекламы покупали меньше, как у ритейлера на Yahoo!. Всплеск заявок в день запуска доказывает, что люди в этот день были активнее, и больше ничего.

История третья. Facebook: 663 эксперимента, 5000 признаков, и данных не хватило

Брет Гордон, Флориан Цеттельмейер, Нирадж Бхаргава и Дэн Чапски, Marketing Science, 2019. Facebook взял 15 своих экспериментов 2015 года с контрольной группой: 500 млн наблюдений, 1,6 млрд показов, торговля, финансы, интернет-магазины, связь. Контрольной группе в момент показа отдавали объявление, занявшее второе место в аукционе, так что человек из контроля рекламу кампании не видел никогда. Дальше исследователи взяли те же данные без контрольной группы и посчитали прирост семью «наблюдательными» методами. От простого сравнения видевших с невидевшими до сопоставления по тысячам признаков. И сравнили с экспериментом.

• Исследование 4, сеть с магазинами и сайтом, 25 млн человек. Эксперимент: прирост покупок 73%. Сравнение видевших с невидевшими: 316%. Сопоставление по полу и возрасту, «наивный ориентир, широко применяемый в индустрии»: 222%.
• Исследование 9. Эксперимент: 2,4%. Лучший из наблюдательных методов: 1306%. Сырое сравнение видевших с невидевшими: 4074%. Причина, по мнению авторов: показ увидели 6,6% аудитории, и алгоритм отобрал самых склонных к покупке.
• Исследование 15: почти все методы прирост занизили. Ошибка бывает в обе стороны.
• Итог: в половине из 14 экспериментов с покупкой оценка отличалась от истинной в три раза и больше, по всем методам сразу. «Ни один метод не выигрывает стабильно». Из 14 экспериментов 6 значимого прироста покупок не показали вовсе.

Через четыре года Гордон и Цеттельмейер с Робертом Моуклером повторили проверку в большем масштабе (Marketing Science, 2023): 663 пары тест-контроль из 563 экспериментов, 1673 сочетания «эксперимент × событие», 7,9 млрд наблюдений. На этот раз с методами машинного обучения и больше чем 5000 признаков на человека, «богаче, чем есть у большинства рекламодателей и их измерительных партнёров». Три результата.

• Истинный прирост, медиана по воронке: 29% для верхних событий, 18% для средних, 5% для покупок и регистраций. Средний прирост 52%, потому что хвост длинный.
• Наблюдательные методы на тех же данных: 24% и 64% для покупок против истинных 5%. Медианная ошибка 500–900%.
• Четверть экспериментов с миллионом и больше пользователей была слишком мала, чтобы заметить прирост 10%.

Вывод авторов: «даже имея крупные эксперименты и богатые пользовательские данные, мы не можем надёжно оценить причинный эффект рекламной кампании».

Последний клик они тоже проверили, в отдельной работе на 2226 экспериментах: семидневный последний клик объясняет 19% разброса истинного прироста между кампаниями. Как ранжир «какая кампания вероятнее работает» он годится, как мера «сколько заказов принесла реклама» нет.

Для калибровки ожиданий добавлю Google: по 432 экспериментам в его медийной сети медианный прирост конверсий 8,1%, значимо положительный у 53 из 184. Рост посетителей на 10% давал рост покупателей на 5–7%: приведённые рекламой посетители конвертируются хуже обычных.

История четвёртая. Льюис и Рао: сколько данных нужно, чтобы измерить ROI

Рэндалл Льюис и Джастин Рао, Quarterly Journal of Economics, 2015. Ранняя версия называлась «О почти невозможности измерить отдачу рекламы».

25 экспериментов с контрольной группой на Yahoo!: 19 у ритейлеров и 6 у финансовых компаний, 2,8 млн долларов рекламы. В каждом эксперименте больше 500 тысяч человек, в большинстве больше миллиона. Результат: медианный доверительный интервал ROI шире 100 процентных пунктов. К примеру, кампания с оценкой «ROI 30%» на таких данных совместима и с −20%, и с +80%.

Причина неустранимая: покупки редкие и разные, стандартное отклонение продаж на человека в 10 раз больше среднего. Их калиброванный пример: расход 14 центов на человека, маржа 50%, средние продажи 7 долларов при разбросе 75. Чтобы кампания дала ROI 25%, ей нужно поднять продажи на 35 центов на человека. Найти 35 центов на фоне разброса в 75 долларов: реклама объясняет 0,0005% разброса продаж. Любая пропущенная переменная, любая корреляция «активный в сети покупает больше» на порядок сильнее самого эффекта рекламы. Это ровно то, что показал Yahoo! в истории второй.

Сколько данных нужно.

Что различаем	Что это за вопрос	Сколько из 25 экспериментов справились
ROI −100% против 0%	«Реклама вообще что-то сделала?»	10
ROI 0% против +50%	«Сверхприбыльная или в ноль?»	3
ROI 0% против +10%	Обычный порог инвестиционного решения	0; медианной кампании нужно быть в 62 раза больше

Цитата: «большинство рекламодателей не знают, а некоторые и не могут знать эффективность своих рекламных расходов». Это про компании с миллионами клиентов и дисплейной рекламой.

Замечание в вашу пользу Авторы отдельно выносят за скобки «фирмы, которые получают подавляющее большинство клиентов через рекламу, например живущие на поисковом контексте», и маленькие компании с низкой известностью. Дальше моя прикидка. У такого бизнеса доля рекламы в продажах доходит до половины и больше, и сдвиг такого размера виден даже на малых объёмах. Это и есть большинство малого бизнеса в Директе. Обратная сторона: тест с самым большим сдвигом для него — выключение, и делать его целиком опасно. Ниже про то, как делать частями.

Ещё одно правило для малых данных из той же группы (Джонсон, Льюис и Райли, Marketing Science, 2017): когда из расчёта выбросили тех, кто рекламу увидеть не мог, точность выросла на 31%, а 236 добавленных переменных о прошлых покупках дали 5%. Точность выросла, потому что выбросили шум.

Что из этого следует собственнику

Соберу четыре истории в четыре правила и переведу в деньги на модельном бизнесе. Числа модельные, прикидка, не из реального проекта.

Бизнес: Директ 400 000 ₽ в месяц, 200 заявок, 60 сделок, маржа со сделки 15 000 ₽. Отчёт по последнему клику приписывает Директу 160 заявок из 200: стоимость заявки (CPL) 2 500 ₽, сделка из рекламы обходится в 8 300 ₽. Считаю, что заявки из рекламы закрываются в сделки так же, как остальные.

Правило 1. Отчёт кабинета почти всегда завышает. Эксперименты Yahoo! и Facebook сравнивали «видевшие против невидевших» с контрольной группой. По таблице Гордона и соавторов в 14 из 14 экспериментов с покупкой сырое сравнение прирост завышало; ритейлер на Yahoo! дал редкое исключение с обратным знаком. Если истинный прирост в нашем бизнесе половина от отчётного, Директ принёс 80 заявок, настоящий CPL 5 000 ₽, сделка 16 700 ₽ при марже 15 000 ₽. Тот же бюджет, тот же отчёт, а канал из прибыльного стал убыточным. Половина здесь для иллюстрации; сам вопрос «какая доля» стоит 200 000 ₽ в месяц.

Правило 2. Ориентир по приросту — единицы процентов, если реклама идёт на тех, кто вас уже знает. Медиана по покупкам у Facebook 5%, у Google 8%. У eBay на постоянных покупателях ноль. Прикидка по логике eBay: реклама на холодную аудиторию даёт больше прироста на заявку и меньше заявок по отчёту; ретаргетинг и брендовый поиск наоборот. Пример на модельном бизнесе. Кампания по постоянным клиентам с CPL 800 ₽ в отчёте и приростом 10% стоит 8 000 ₽ за заявку, которой без рекламы не было бы. Кампания на новых с CPL 4 000 ₽ и приростом 80% стоит 5 000 ₽ за такую же заявку. По отчёту первая в пять раз дешевле; по приросту дороже.

Правило 3. Точность ±10% недостижима, собственник решает по грубым порогам. Если Yahoo! с миллионом человек в эксперименте не различает ROI 0% и 10%, бизнес с 200 заявками тем более. Зато он различает «выключили в половине регионов, и заявки там упали вдвое» от «выключили, и ничего не изменилось». Тест надо строить под большой сдвиг: выключить или удвоить. Сдвиг на 10% такой бизнес не увидит.

Правило 4. Реклама работает на тех, кто про вас не знает; брендовая реклама — защита от конкурентов на вашем имени. Из eBay и Bing. Проверка стоит один поиск в инкогнито.

Это те же выводы, что в модели «Следующий рубль»: в числителе решения о бюджете стоит прирост. Здесь он получил экспериментальные числа.

Как проверить у себя: гео-тест в Директе за шесть недель

Встроенного инструмента для этого у Яндекса нет. A/B-эксперименты в Директ Про сравнивают кампании с показами между собой; варианта «не показывать» в справке нет. Исследования прироста (Brand, Search, Visit и Target Lift) работают только для медийных кампаний с оплатой за показы, а Brand Lift к тому же требует 140 000 ₽ в день и 2 млн ₽ на кампанию. Для поиска и РСЯ остаётся гео-тест руками. Порядок ниже я собрал из методик Google и Meta для гео-тестов (ссылки внизу) с поправкой на бюджет 300–500 тысяч в месяц; где методики молчат, стоит пометка «прикидка».

1. Метрика — заявки или заказы региона из всех источников. Клики в выключенных регионах упадут по определению. Считайте цели Метрики по региону целиком: реклама, органика, прямые заходы. Если выключаете брендовую кампанию, органика подхватит часть, и это как раз то, что вы измеряете.
2. Единица — область. У Google зона должна быть достаточно крупной, чтобы люди не ездили за покупкой через границу; почтовые индексы, по их словам, «как правило, не годятся», районы города тем более. Заказы с доставкой считайте по адресу доставки; IP покажет офис курьера (прикидка).
3. Соберите историю: регион × неделя × заявки и расход. Заявки — отчёт Метрики «Аудитория → География» с сегментом по целям, расход по регионам — Мастер отчётов Директа. Meta советует год истории и минимум 25 периодов по 20 и больше регионам; Google в примерах обходится восемью неделями до теста. Недельная агрегация лучше дневной: она гасит день недели.
4. Москву и Петербург выведите за скобки. В кейсе Google 20% зон давали 80% выручки, и пары им не найти. Оставьте их как есть, тест ставьте на остальных регионах (прикидка).
5. Разбейте регионы на пары по истории. Простой способ из методики Google: отранжировать регионы по заявкам за период до теста и парить соседей по рангу. Похожий приём, группировка зон по размеру, сужал доверительный интервал у Google на 10% и больше. Пар нужно минимум десять, то есть 20 регионов. Если регионов меньше, делите на две группы и сравнивайте ряды по неделям; у Google есть метод и для этого случая.
6. Внутри пары монетка решает, кто тест. Не выбирайте «удобные» регионы руками: жребий защищает от ошибок, которых вы не видите.
7. В тестовых регионах выключите Директ целиком на 4 недели, потом 1–2 недели наблюдайте. Регионы снимите в гео-таргетинге кампаний. Meta: тест не короче 15 дней и не короче одного цикла покупки; Google: 4–6 недель теста плюс 1–2 недели на отложенные заказы. Дневной бюджет контрольных кампаний зафиксируйте на уровне до теста, иначе автостратегия перельёт освободившиеся деньги в контроль и испортит его (прикидка по логике Google о взаимном влиянии зон).
8. Считайте разницу разностей. Прирост = (заявки в тесте после − до) − (заявки в контроле после − до), с поправкой на длину периодов. Контрольная группа снимает сезон и общие для всех регионов события; региональную акцию или сбой доставки в одной из групп она не снимет, поэтому во время теста ничего в регионах не меняйте. Отсюда две цифры: сколько заявок принёс Директ по факту и сколько стоила каждая. Сравните со стоимостью по отчёту и с маржой. Интервалы 80–90% для решения о бюджете достаточно; Google в своих исследованиях прироста отчитывается именно так.

Лайфхак До запуска прогоните тест на истории: возьмите два прошлых периода той же длины, много раз случайно назначьте тест и контроль и посмотрите разброс «эффекта», которого не было. Если разброс больше, чем ожидаемый прирост, тест ничего не покажет, и вы узнали это бесплатно. Готовый код есть у Google (trimmed_match, Python) и Meta (GeoLift, R).

Цена теста При 400 000 ₽ в месяц и половине регионов в тесте на кону 200 000 ₽ расхода за четыре недели: часть заявок в тестовых регионах пропадёт. Цена незнания: 2,4 млн ₽ в год, если половина отчётных заявок пришла бы и без рекламы. Сам Яндекс не советует делать выводы раньше двух недель и при менее чем 10 конверсиях в неделю на вариант; для гео-теста это нижняя планка.

Решение Раз в квартал повторяйте один и тот же простой тест и смотрите на сумму повторов. Льюис и Рао показали, что сигнал одной кампании настолько слаб, что после него мнение почти не меняется; средний эффект виден только после повторов. eBay тоже ставил серию экспериментов.

Где эти исследования не про вас

Из чужих экспериментов берём метод; числа остаются их авторам. Границы стоит назвать до того, как вы пойдёте резать брендовую кампанию.

• 99,5% и −63% принадлежат eBay. Всеобщая известность, первая строка органики, никого на бренде, сто миллионов ключевых слов. У Edmunds из верхнего процента сайтов замещение упало ниже половины. У сайта без органических позиций замещения не будет вовсе; авторы eBay пишут об этом сами.
• 89% Google — про клики и без контрольной группы. Как аргумент «выключишь, клики пропадут» годится; про окупаемость эта работа молчит.
• Bing и Facebook устроены иначе, чем Яндекс. Четыре объявления над органикой, единый логин на всех устройствах, контрольная группа до аукциона. В Директе контроль будет «протекать»: часть контрольных пользователей увидит рекламу с другого устройства, и измеренный прирост окажется занижен. Переносятся направление и порядок величины; проценты остаются Bing и Facebook.
• Все горизонты короткие. 60 дней у eBay, четыре месяца у Edmunds, девять дней у Bing, от одного дня до восьми недель у Yahoo!. Долгосрочную ценность привлечённого клиента не измерял никто; про неё у меня отдельный расчёт LTV.
• Малый бизнес — исключение, которое авторы оговаривают. Если реклама даёт вам половину клиентов, доля рекламы в продажах до половины, и такой сдвиг виден на малых данных; это моя прикидка поверх их оговорки. Поэтому у вас, в отличие от eBay, шанс получить внятный ответ выше; поэтому же выключать целиком нельзя.
• Модельный бизнес в разделе про рубли — иллюстрация. 400 тысяч, 200 заявок и «половину» я взял для арифметики; долю прироста в вашем Директе знает только ваш гео-тест.

Что с этим делать: взять из статьи метод и порог решения, а числа для своего бизнеса получить своим тестом.

Краткие выводы

• Отчёт кабинета делит заказы, эксперимент измеряет прирост. У eBay регрессия дала ROI 4173%, эксперимент −63%; в Facebook на 663 парах тест-контроль медианный истинный прирост покупок 5%, наблюдательные методы ошибались в разы.
• Отчёт почти всегда завышает, и чем «горячее» аудитория, тем сильнее; различить «ROI 10%» и «ROI 0%» не хватает данных даже у гигантов, поэтому решения принимаются по грубым порогам.
• У Яндекса нет контрольной группы без показов для поиска и РСЯ; гео-тест по областям на четыре недели плюс две недели наблюдения даёт ответ своими силами.

Какая доля заявок из вашего отчёта по Директу случилась бы и без него? Узнать это стоит четыре недели теста; не знать стоит каждый месяц.

Откуда числа

Blake T., Nosko C., Tadelis S. Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment. Econometrica, 2015; рабочая версия NBER 20171. Coviello L., Gneezy U., Goette L. A Large-Scale Field Experiment to Evaluate the Effectiveness of Paid Search Advertising. CESifo Working Paper 6684, 2017. Chan D. et al. Incremental Clicks Impact of Search Advertising. Google Research, 2011. Simonov A., Nosko C., Rao J. Competition and Crowd-Out for Brand Keywords in Sponsored Search. Marketing Science, 2018, авторская версия. Simonov A., Hill S. Competitive Advertising on Brand Search: Traffic Stealing and Click Quality. Marketing Science, 2021; числа по рабочей версии 2018. Lewis R., Rao J., Reiley D. Here, There, and Everywhere. WWW 2011. Lewis R., Reiley D. Online Ads and Offline Sales. Quantitative Marketing and Economics, 2014, авторская версия. Lewis R., Rao J. The Unfavorable Economics of Measuring the Returns to Advertising. Quarterly Journal of Economics, 2015, SSRN. Johnson G., Lewis R., Reiley D. When Less Is More. Marketing Science, 2017, авторская версия. Johnson G., Lewis R., Nubbemeyer E. The Online Display Ad Effectiveness Funnel & Carryover: Lessons from 432 Field Experiments, рабочая версия 2017. Gordon B., Zettelmeyer F., Bhargava N., Chapsky D. A Comparison of Approaches to Advertising Measurement. Marketing Science, 2019. Gordon B., Moakler R., Zettelmeyer F. Close Enough? Marketing Science, 2023, arXiv 2201.07055; те же авторы, Predicted Incrementality by Experimentation, arXiv 2304.06828. Методики гео-тестов: Vaver J., Koehler J. Measuring Ad Effectiveness Using Geo Experiments, 2011; Kerman J., Wang P., Vaver J. Geo Experiments in a Time-Based Regression Framework, 2017; Chen A., Longfils M., Remy N. Trimmed Match Design, 2021; Meta GeoLift. Инструменты Яндекса: справка Директа по A/B-экспериментам и исследованиям медийной рекламы, условия Brand Lift по справке на сентябрь 2026 года.

Оговорки к источникам. Числа Simonov и Hill я взял из рабочей версии 2018 года, в журнальной версии диапазоны другие. «Примерно в 16 раз» у Simonov, Nosko и Rao — отношение оплаченных кликов к инкрементальным из их же расчёта. «В 14 из 14» у Facebook — моё чтение таблицы 6, авторы формулируют «в основном завышают». Прирост брендовых поисков у Yahoo! в статье 2011 года 5,4%, в пересказе авторов 2015 года 5,1%, поэтому «около 5%». Тезисы про долю рекламы в продажах малого бизнеса и про холодную аудиторию — мои прикидки поверх оговорок авторов. Работу Chan и коллег делали в Google, работы Gordon и соавторов частично сотрудники Facebook, авторы eBay работали в eBay, Simonov с соавторами использовали данные Bing и Microsoft Research, Lewis, Rao и Reiley работали в Yahoo! Research, данные 432 экспериментов дал Google. Авторы это оговаривают сами, и везде есть внешние соавторы из университетов.