Участники сообщества eBay тратили на 62 € в месяц больше, эксперимент показал ноль или минус: как проверить, окупается ли раздел сайта

TL;DR Не решайте судьбу блога, отзывов или сообщества по отчёту «читатели раздела покупают втрое чаще»: такое сравнение завышает пользу в разы и может ошибиться даже в знаке. В единственном рандомизированном эксперименте с сообществом клиентов, который я нашёл, наивное сравнение дало участникам плюс 62 евро трат в месяц, а оценка с поправкой на самоотбор — ноль или минус. Где польза разделов всё-таки видна, она часто сидит в возврате клиентов, частоте покупок и ширине корзины, а у отзывов — там, где покупателю не хватает информации. Поэтому сначала решите, какую метрику раздел должен двигать, и выберите проверку под свой трафик. Ниже истории, два калькулятора, план проверки на 4–8 недель и что делать, если трафика не хватает. Чтение — минут двадцать.

Я Егор, десять лет в перформанс-маркетинге. Отчёт «посетители раздела конвертируются лучше» Метрика строит за пять минут, и выглядит он как доказательство. Статья про одно решение: сколько платить за блог, отзывы, базу знаний или сообщество на сайте и как понять, окупаются ли они. Числа я брал из рецензируемых работ, полевых экспериментов, инженерных блогов компаний и справки Яндекса; где источник слабее, я это пишу. Ссылки в конце. Где считаю сам, стоит пометка «прикидка».

Что это значит в деньгах Модельный сайт: 30 тысяч посетителей в месяц, 15% читают блог. Читатели оставляют заявку в 6% случаев, остальные — в 2%. С каждой заявки бизнес зарабатывает 3 000 ₽, блог стоит 300 тыс ₽ в месяц. По отчёту блог приносит 180 лишних заявок и 540 тыс ₽ в месяц — почти вдвое больше, чем стоит. Если настоящий вклад блога — четверть этой разницы, он приносит 135 тыс ₽ и теряет 165 тыс ₽ в месяц. Пока эта доля неизвестна, ни сокращать, ни наращивать такой раздел по отчёту нельзя; подставьте свои числа в калькулятор в разделе «Сколько приносит раздел без самоотбора». Это прикидка, и ваш раздел может оказаться лучше или хуже.

История первая. «Читатели покупают втрое чаще»

Простыми словами Самоотбор — ситуация, когда в раздел приходят люди, которые и так собирались купить. Они читают блог, потому что уже выбирают, и прочитанный текст может быть ни при чём. Сравнение «читатели против остальных» смешивает эти две вещи.

Эксперимент eBay: плюс превратился в ноль или минус

Рене Альгесхаймер с соавторами взяли 13 735 активных клиентов раздела коллекционных товаров eBay в Германии — покупателей и продавцов, — которые ни разу не заходили в сообщество. Половине случайно отправили приглашение в форумы. Приглашение подняло вероятность участия на 22,7%, а всего в первые три месяца в сообщество заглянули около 7% выборки. Так у авторов появилась честная контрольная группа: люди, похожие во всём, кроме приглашения.

• Наивное сравнение участников с остальными дало плюс по всем четырём показателям: на 62 евро в месяц больше трат, на 7,9 ставки, на 68,9 лота и на 1 265 евро выручки продавца больше.
• Оценка через случайное приглашение дала ноль по ставкам и выручке продавца и минус по тратам и числу выставленных лотов. Размер минуса авторы считают в других единицах, для небольшого роста участия, поэтому напрямую с 62 евро его не сравнить. Сравнить можно знак: был плюс, стал ноль или минус.

Авторы пишут прямо: участие в сообществе не превращается в рост активности. Их объяснение — сообщество учит: продавцы выставляют меньше, но с той же выручкой, покупатели осторожнее после историй о переплатах.

Блог устроен так же. В раздел сайта человек заходит сам, и заходит чаще тот, кто уже выбирает. Форум eBay, отзывы, база знаний и блог отличаются содержанием, но эта ловушка у них общая. Эксперимента, где блог показывали одной половине посетителей и скрывали от другой, я не нашёл. Поэтому дальше я беру разделы, которые измерили, — сообщества, отзывы, справку, SEO-страницы — и переношу их на блог по аналогии. Где перенос натянут, пишу.

Ошибка бывает и в знаке

Смитха Милли с соавторами на одних и тех же пользователях Twitter сравнили, как изменения в ленте влияют на поведение людей, двумя способами: экспериментом и наблюдением. В трёх случаях из четырёх наблюдательная оценка дала обратный знак. Дин Эклз и Эйтан Бакши на данных Facebook показали, что наивная оценка того, как люди перенимают ссылки друг у друга, завышена на 320%. Та же картина в рекламе, я разбирал её в статье про инкрементальность: отчёт «видел рекламу против не видел» ошибался в разы.

Метрика раздел не оценит

С 20 мая 2026 года в Яндекс Метрике осталось четыре модели атрибуции: «Последний переход», «Первый переход кросс-девайс», «Последний значимый переход кросс-девайс» и «Автоматическая атрибуция». Все они делят заслугу между источниками трафика. Раздел сайта заслугу не получает ни в одной. Сегмент «просмотрел раздел» Метрика построит, но сравнение этого сегмента с остальными — ровно то наивное сравнение, которое на eBay дало плюс вместо нуля.

История вторая. Что показали разделы, которые измерили

Отзывы: там, где покупателю не хватает информации

Майкл Лука взял все рестораны Сиэтла за 2003–2009 годы и налоговые данные об их выручке. Yelp округляет средний рейтинг до половины звезды, поэтому два ресторана с почти одинаковыми оценками показываются с разницей в ползвезды. Разные способы расчёта дали 5–9% выручки на звезду, сравнение вокруг порога — около 9%. У независимых ресторанов эффект есть, у сетевых — около нуля.

Майкл Андерсон и Джереми Магрудер тем же приёмом посмотрели бронирования в Сан-Франциско. Лишние ползвезды дали на 19 процентных пунктов чаще полностью распроданные столики на 19:00 — это плюс 49% к базе. У ресторанов с более чем 500 отзывами эффекта не было: о них и так всё известно.

Метаанализ 96 исследований Аны Бабич Розарио с соавторами даёт более скромную картину: средняя связь отзывов с продажами слабая, треть эффектов незначима, каждый девятый — с минусом. Количество отзывов связано с продажами сильнее, чем средняя оценка.

Репутация: ноль в конверсии, плюс в возврате

Крис Носко и Стивен Таделис на 12,7 млн пользователей eBay в США поменяли ранжирование выдачи для 10% трафика: чаще показывали продавцов с хорошей скрытой репутацией. Отзывы при этом никто не выключал. Конверсия в покупку не изменилась совсем. Доля покупателей, вернувшихся за 180 дней, выросла на 0,30 процентного пункта: с 61,55% до 61,85%. Эффект значим у новичков и не значим у опытных покупателей.

Если бы eBay мерил изменение конверсией визита, он получил бы ноль и решил, что оно бесполезно.

Сообщества без рандомизации: плюс 9–19%, и это скорее потолок

Пунит Манчанда с соавторами изучили сообщество американского ритейлера книг, музыки и фильмов. Прирост трат вступивших за 15 месяцев после запуска составил 127 долларов на человека по сравнению с не вступившими — 19% всех их трат за этот период. Рост пришёл от частоты покупок, средний чек не изменился. Ашиш Кумар с соавторами на сети винных магазинов получили, что подписчики страницы магазина в соцсети тратили на 9% больше. Посты компании двигали траты слабее, чем телереклама, но сильнее расширяли корзину: люди покупали в новых категориях.

Обе работы без случайного распределения: люди вступали сами. Самоотбор в них уменьшен сравнением с похожими покупателями, но не убран. После эксперимента eBay эти 9–19% разумно читать как верхнюю границу.

Справка: эффект разный для разных вопросов

Анудж Кумар и Рахул Теланг сравнили звонки в колл-центр медицинской страховой компании у клиентов, которые зарегистрировались на новом портале самообслуживания, и у остальных. У зарегистрировавшихся звонков стало на 14% больше. По вопросам, где на портале есть простой однозначный инструмент, — на 29% меньше, по вопросам с объёмной неоднозначной информацией — на 66% больше. Мерить справочный раздел «в среднем» — значит пропустить обе половины эффекта.

Сообщество — это петля

Сяоцюань Чжан и Фэн Чжу разобрали естественный эксперимент: китайская Википедия потеряла читателей из материкового Китая из-за блокировки. Оставшиеся авторы стали писать на 42,8% меньше, сильнее всех сократились самые «социальные». Урезая аудиторию раздела, вы с задержкой теряете и тех, кто наполняет его содержанием.

История третья. Как измеряют раздел, который нельзя выключить

Выключать блог или отзывы целиком дорого: страницы выпадут из поиска, а авторы, как показала Википедия, перестанут писать. В работах выше раздел целиком не выключали. Его меняли на случайной части трафика, страниц или людей либо находили готовый порог или внешнее событие, которые разделили людей за исследователя.

• Скрыть блок у случайной половины посетителей. Так eBay поменял ранжирование на 10% трафика. Для отзывов на карточке, виджета сообщества или ссылки на блог это делается в любом A/B-инструменте.
• Поменять раздел на случайной половине страниц. Pinterest и Etsy делят однотипные страницы — по адресу или группами по тысяче страниц — и сравнивают поисковый трафик групп. По данным вендора SearchPilot, в 2022–2023 годах около 75% таких тестов не дали значимого результата, около 15% показали рост, 7–8% — падение.

• Найти готовый порог. Округление рейтинга, «блок показывается от 10 отзывов», попадание в топ. Сравнение вокруг порога — как у Луки и Андерсона с Магрудером. Оно делается на истории без изменений на сайте. По оценке для образовательных исследований, ему нужно в 3–4 раза больше данных, чем эксперименту; для сайта это порядок величины.
• Построить контрольную группу из похожих рядов. Метод CausalImpact от Google прогнозирует, что было бы без изменения, по рядам, которые изменение не задело. В примере авторов эксперимент дал 84,7 тысячи дополнительных кликов, CausalImpact без контрольных регионов — 85,9 тысячи. Отклонение около 1%, но с широким интервалом: от плюс 12% до плюс 30%.
• Случайно пригласить. Как у Альгесхаймера: приглашение в сообщество получает случайная половина базы.

Замечание Там, где люди влияют друг на друга, простой A/B-тест искажён. На Airbnb в ценовом эксперименте около трети эффекта обычного теста, 32,6%, оказалось смещением от такого влияния. В сообществах, где участники видят друг друга, делят города или кластеры.

Что из этого следует собственнику

Сколько приносит раздел без самоотбора

Отчёт «читатели против остальных» — верхняя граница пользы раздела для тех, кто и так пришёл на сайт. Настоящий вклад обычно меньше, а может оказаться и минусом, как у сообщества eBay. Два исключения: раздел сам приводит людей из поиска или двигает повторные покупки. Этого в отчёте нет, и польза может быть больше. Такой раздел считайте отдельно — по поисковому трафику его страниц и по возврату клиентов. Калькулятор ниже — про первый случай.

Раздел окупается, если его настоящая доля в наблюдаемой разнице больше, чем стоимость раздела, делённая на наивную оценку. На модельном сайте это 300 тыс ₽ из 540 тыс ₽, то есть больше половины разницы.

Доля 25% в калькуляторе по умолчанию — щедрый ориентир. Он взят из одного исследования рекламы Facebook, где сравнение «видевшие против невидевших» дало 316% прироста при настоящих 73%. В большинстве из 14 кампаний той же работы настоящий прирост был меньше десятой части наивного, медиана — около 2%. Для разделов сайта прямого замера такой доли нет. Порядок величины здесь важнее точных рублей: если раздел окупается только при доле выше половины, его судьбу решает проверка.

Хватит ли трафика для проверки

Честная проверка упирается в трафик. Чтобы увидеть изменение конверсии, нужно примерно 16 × p × (1 − p) / Δ² посетителей в каждой группе. Здесь p — базовая конверсия, Δ — ожидаемое изменение конверсии в абсолютных долях: при базе 2% и прибавке 20% это 0,004. Формула из обзора Рона Кохави и соавторов, мощность 80%; 16 — округлённые 15,7 из формулы в статье про A/B-тест при малом трафике.

На модельном сайте конверсия всех посетителей — 2,6%. Если отчёт прав целиком, без блога конверсия упала бы примерно на 23%, и тест увидит это меньше чем за месяц. Если настоящий вклад — четверть разницы, прибавка около 6%, и на её поиск уйдёт почти год. За восемь недель тест различит прибавку от 15% — это вклад от двух третей наивной разницы. Поэтому на таком сайте тест может подтвердить «раздел окупается с запасом», а результат «тест ничего не показал» значит только, что эффект меньше того, что тест мог увидеть. Справка Varioqub пишет об этом прямо. Прикидка по формуле.

Если калькулятор показывает больше восьми недель, скрывать блок у половины посетителей почти бессмысленно. Тогда нужен порог на истории, поэтапный запуск по группам страниц или более крупная метрика — например, заявки вместо кликов или доля вернувшихся вместо конверсии визита.

Правило из четырёх вопросов

1. Какую метрику раздел должен двигать? Решите до проверки. Честная репутация продавцов в выдаче eBay двигала возврат, сообщество ритейлера — частоту покупок, посты в соцсети — ширину корзины. Мерить всё конверсией визита — получить ноль и ошибиться.
2. Кому раздел помогает? Эффект отзывов был у независимых ресторанов и пропадал у самых известных, с более чем 500 отзывами; эффект репутации — у новичков. Малому бизнесу без известного бренда отзывы полезнее, чем сети.
3. Хватит ли трафика? Посчитайте во втором калькуляторе.
4. Не заденет ли проверка авторов и соседей? Сообщество — петля: урезанная аудитория снижает производство контента. Проверяйте на городах, кластерах или группах страниц.

Какой раздел что двигает

Раздел	Где искать эффект	С чего начать проверку	Откуда
Отзывы и рейтинг	Выручка и бронирования, если бренд малоизвестен	Порог рейтинга на истории	Замерено: Лука, Андерсон и Магрудер
Репутация в выдаче	Возврат покупателей, особенно новичков	Изменение на части трафика	Замерено: Носко и Таделис
Сообщество, клуб	Частота покупок и ширина корзины	Случайное приглашение	Замерено: Альгесхаймер, Манчанда, Кумар
Справка, база знаний	Обращения в поддержку по типам вопросов	Зарегистрированные против остальных, отдельно по простым и сложным вопросам	Замерено: Кумар и Теланг
Блог и статьи	Поисковый трафик страниц и возврат читателей	Изменение на случайной половине страниц; поэтапный запуск по группам	Перенос по аналогии

Для вашего бизнеса строка может сдвинуться, но начинать с неё дешевле, чем с конверсии визита.

Как проверить свой раздел за 4–8 недель

Пути в меню — по справке Яндекса на сентябрь 2026 года. Шаги 1–3 — для всех. Дальше выберите один путь из трёх. Шаг 7 — снова для всех.

1. Гипотеза и одна метрика. Одной фразой: «отзывы на карточке увеличивают заявки новых посетителей» или «блог увеличивает долю вернувшихся за 28 дней». Метрика — заявки, звонки или заказы по посетителям, не по визитам.
2. Наивная цифра. В Метрике постройте сегмент «Поведение → Просмотр URL» с маской раздела, например https://ваш-сайт.ru/blog/*, и выберите сегментацию по посетителям. Сравните с остальными. Запишите её как верхнюю границу вклада.
3. Проверка трафика. Второй калькулятор или калькулятор выборки в Varioqub.
4. Путь А: блок на странице, и второй калькулятор укладывается в восемь недель. Varioqub: базовый тариф бесплатный, два эксперимента одновременно, посетители делятся по cookie, срок от 1 до 90 дней. Вариант Б скрывает блок правкой стиля в визуальном редакторе или флагом в коде — для флага нужен программист. Основной метрикой выберите конверсию по пользователям в цель: обычная конверсия считается по визитам. Держите тест полными неделями и не останавливайте по первому зелёному дню.
5. Путь Б: раздел работает через поиск или трафика мало. Разбейте однотипные страницы на 4–8 групп, порядок включения изменения определите жребием и включайте по группе в неделю. Показы и клики групп — Вебмастер, «Расширенная аналитика поисковых запросов по URL»; заявки — цели Метрики с сегментом по адресам группы.
6. Путь В: есть порог. Выгрузите карточки с рейтингом и продажами и сравните продажи в узком коридоре по обе стороны порога. Проверьте, нет ли кучи карточек сразу над порогом: если её легко подкрутить, порог не годится.
7. Три числа рядом. Наивная оценка, оценка из проверки и минимальный эффект, который проверка могла увидеть. Если наивная в разы больше, это и есть размер самоотбора в вашем прежнем отчёте.

Цена теста Шаги 1–3 — час работы в Метрике, эксперимент в Varioqub — бесплатно. Цена незнания на модельном сайте: если настоящий вклад блога — четверть разницы, а бюджет держат по отчёту, блог теряет 165 тыс ₽ в месяц, около 2 млн ₽ в год.

Решение Отчёт «читатели против остальных» годится для одного решения: если даже он не покрывает стоимость раздела, раздел можно сокращать без проверки — если только он не приводит людей из поиска и не должен двигать возврат: этих эффектов в отчёте нет. Во всех остальных случаях сначала выберите метрику, которую раздел должен двигать, и проверьте его способом под свой трафик. До результата держите раздел на прежнем уровне, но задайте срок. Если за квартал проверка ничего не показала, считайте вклад раздела не больше того эффекта, который она могла увидеть, и пересчитайте окупаемость с этой долей.

Лайфхак Посмотрите, нет ли у вас порога, который вы сами поставили: блок отзывов показывается от пяти отзывов, значок «Популярное» — от ста просмотров, статья попадает в подборку по рейтингу. Карточки чуть ниже и чуть выше порога — готовая контрольная группа, и данные для неё уже лежат в Метрике и CRM.

Где эти исследования не про вас

• Масштаб. eBay, Pinterest, Yelp и Facebook — площадки с миллионами пользователей. Малому сайту их способы проверки доступны, но эффект размером в 0,3 процентного пункта при 30 тысячах посетителей в месяц он искал бы годами.
• Тип раздела. Эксперимента «блог показан против блог скрыт» с продажами в рецензируемых работах я не нашёл. Перенос на блог — по аналогии.
• Россия. Все работы — США, Европа, глобальные площадки и китайскоязычная Википедия. Российских экспериментов с разделами сайтов с раскрытой методикой нет.
• Вендоры. Доли «75% SEO-тестов без эффекта» — данные компании, которая продаёт такие тесты, без раскрытого числа тестов.
• Средние. Разброс вокруг средних большой. Ваш раздел может оказаться и полезнее, и бесполезнее, и проверяется это только собственным замером.

Краткие выводы

• Сравнение «читатели раздела против остальных» завышает его пользу в разы и может ошибиться в знаке: на eBay оно дало плюс 62 евро в месяц там, где эксперимент показал ноль или минус.
• Польза разделов, которую удалось измерить, часто сидит в возврате, частоте покупок и ширине корзины, а у отзывов — там, где покупателю не хватает информации.
• Раздел нельзя выключить, но можно поменять на случайной части людей или страниц, найти готовый порог или построить контрольную группу из похожих рядов. Метод выбирается под трафик, и на малом сайте тест подтверждает только крупный вклад.

Вы знаете, какую метрику должен двигать ваш блог и сколько недель нужно, чтобы это увидеть?

Час в Метрике и калькуляторе стоит меньше, чем месяц бюджета раздела, который держится на одном наивном отчёте.

Откуда числа

24 ссылки

Сообщества и самоотбор: Algesheimer R., Borle S., Dholakia U. M., Singh S. S. The Impact of Customer Community Participation on Customer Behaviors: An Empirical Investigation, Marketing Science, 2010. Manchanda P., Packard G., Pattabhiramaiah A. Social Dollars: The Economic Impact of Customer Participation in a Firm-Sponsored Online Customer Community, Marketing Science, 2015. Kumar A., Bezawada R., Rishika R., Janakiraman R., Kannan P. K. From Social to Sale: The Effects of Firm-Generated Content in Social Media on Customer Behavior, Journal of Marketing, 2016. Milli S., Belli L., Hardt M. Causal Inference Struggles with Agency on Online Platforms, ACM FAccT, 2022. Eckles D., Bakshy E. Bias and High-Dimensional Adjustment in Observational Studies of Peer Effects, Journal of the American Statistical Association, 2021. Zhang X., Zhu F. Group Size and Incentives to Contribute: A Natural Experiment at Chinese Wikipedia, American Economic Review, 2011. Gordon B. R. и др. A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook, Marketing Science, 2019 — подробно в статье про инкрементальность.

Отзывы и репутация: Luca M. Reviews, Reputation, and Revenue: The Case of Yelp.com, Harvard Business School Working Paper 12-016. Anderson M. L., Magruder J. Learning from the Crowd: Regression Discontinuity Estimates of the Effects of an Online Review Database, The Economic Journal, 2012. Babić Rosario A., Sotgiu F., De Valck K., Bijmolt T. H. A. The Effect of Electronic Word of Mouth on Sales: A Meta-Analytic Review, Journal of Marketing Research, 2016. Nosko C., Tadelis S. The Limits of Reputation in Platform Markets: An Empirical Analysis and Field Experiment, NBER Working Paper 20830, 2015.

Справка и SEO: Kumar A., Telang R. Does the Web Reduce Customer Service Cost? Empirical Evidence from a Call Center, Information Systems Research, 2012. Pinterest Engineering, Demystifying SEO with experiments, 2015. Etsy, SEO Title Tag Optimization at Etsy, 2016. SearchPilot, SEO A/B testing: realizing the value of a good experimentation program. Brodersen K. H. и др. Inferring Causal Impact Using Bayesian Structural Time-Series Models, The Annals of Applied Statistics, 2015.

Методы и инструменты: Holtz D. и др. Reducing Interference Bias in Online Marketplace Pricing Experiments, 2020. Kohavi R. и др. Controlled experiments on the web: survey and practical guide, Data Mining and Knowledge Discovery, 2009. Lee D. S., Lemieux T. Regression Discontinuity Designs in Economics, Journal of Economic Literature, 2010. Schochet P. Z. Statistical Power for Regression Discontinuity Designs in Education Evaluations, Journal of Educational and Behavioral Statistics, 2009. Справка Яндекса: модели атрибуции Метрики, примеры сегментации, Varioqub и его тарифы, выгрузка запросов по URL в Вебмастере.

Оговорки к источникам. Работа Альгесхаймера и соавторов прочитана в принятой рукописи; оценка получена через случайное приглашение как инструмент, прямого сравнения приглашённых с неприглашёнными в тексте нет, а размер минуса по тратам и лотам авторы дают на рост склонности к участию на 10% от медианы. Работы Манчанды и Кумара — без случайного распределения, поэтому их 9–19% — верхняя граница; 19% у Манчанды — доля прироста во всех тратах вступивших после запуска. У Кумара и Теланга регистрация на портале добровольная, это квазиэксперимент. Работа Эклза и Бакши — по аннотации и введению препринта. Инженерные блоги Pinterest и Etsy описывают методику, но не все результаты в числах; доля нулевых SEO-тестов — данные вендора SearchPilot без числа тестов. Число «+5–9% выручки» у Луки — разные спецификации автора, пересчёт с полузвезды на звезду; разделение на независимые и сетевые рестораны — из модели с фиксированными эффектами. Множитель «в 3–4 раза больше данных» посчитан для образовательных исследований. Доли 25% и 2% в калькуляторе — из рекламы Facebook (Гордон и соавторы), для разделов сайта прямого замера нет. Модельный сайт, 540 и 135 тыс ₽, месяц, почти год и 15% за восемь недель — мои прикидки по формулам из текста; формула мощности предполагает независимых посетителей и мощность 80%.