Синтетические клиенты: проверяем оффер на LLM-персонажах — и разбираем, где метод врёт

TL;DR LLM-персонажи с проработанными карточками находят в оффере непонятные формулировки, типовые возражения и слепые зоны до запуска трафика. Работает это только при трёх условиях: персонажи заземлены в живых цитатах реальных людей, в составе есть контрольная группа «не купит», ответы прогоняются через принудительные искажения — иначе получается генератор комплиментов. Мы один раз прогнали синтетическое исследование параллельно с живым на ту же тему: по большинству тематических блоков выводы сошлись, при этом ранжирование и доли синтетика предсказывает плохо. В статье — протокол целиком, таблица «чему верить / что перепроверять» и пять типовых промахов метода, собранных на практике. Протокол упакован в скилл для Claude Code (MIT), но воспроизводится руками в любом LLM-чате. Чтение — минут восемь.

Простыми словами Синтетический респондент — LLM-персонаж с фиксированной карточкой: биография, бюджет, страхи, лексика, типовые искажения ответов. Ему показывают оффер или задают вопросы, он отвечает в роли. Дальше считаю, что вы хоть раз проверяли продуктовую или маркетинговую гипотезу и понимаете, почему «мне нравится» от друзей — не проверка.

Почему «вставь оффер в чат и спроси» не работает

Наивный способ пробовали все: показать модели оффер и спросить «как тебе?». Ассистент-режим обучен быть полезным и вежливым — он похвалит, предложит «добавить конкретики и социальных доказательств» и найдёт три мелочи. Просьба «притворись моим клиентом» меняет мало: без заданной биографии, бюджета и причин отказаться модель отыгрывает усреднённого доброжелательного покупателя, которого в природе не существует. Симметричный промпт «будь критичнее» даёт усреднённого злого критика — столь же бесполезного.

Это лечится не формулировкой промпта, а конструкцией. Опор три.

Опора 1. Заземление: карта пути и чужие слова

Карточка персонажа, выдуманная моделью из головы, — фантазия модели о вашем рынке. Проверка оффера на такой карточке проверяет оффер на фантазии. Заземляют персонажей два материала.

Карта пути клиента Интервью с носителем знания — владельцем, продажами, поддержкой: с чего человек понимает, что у него есть проблема, где ищет решение, как сравнивает, что происходит перед оплатой, что после. На каждом этапе — главный вопрос: кто и почему здесь отваливается. Причины отвала доводим до конкретики: не «дорого», а «уже платит конкуренту, и переход дороже выгоды»; не «боятся», а «обжёгся на такой услуге и не верит категории». Эти причины потом становятся карточками контрольной группы.

Живой язык 15–25 дословных цитат реальных людей о категории продукта: отзывы (свои и конкурентов), форумы, переписки с продажами, вопросы из заявок. Цитаты дают лексику, страхи и возражения, которых носитель знания о своих клиентах либо не знает, либо стесняется. Персонаж, говорящий языком реальных отзывов, реагирует на оффер заметно ближе к рынку, чем персонаж на литературном русском.

Обратная сторона заземления — запрет: чего нет в собранных материалах, того персонаж не знает. На вопрос за пределами карточки он отвечает «не знаю» или уклончиво, как живой человек, — вместо того чтобы галлюцинировать факты о вашем рынке. Это правило приходится прописывать явно: у модели всегда найдётся правдоподобный ответ, и он-то и опасен.

Опора 2. Состав: в группе должно быть кому не купить

Десять «средних довольных клиентов» дадут десять оттенков вежливого «да». Ценность прогона — в разбросе, поэтому персонажи разводятся по осям: сегмент × этап пути × отношение к категории (минимум два скептика) × осведомлённость о проблеме × платёжеспособность относительно чека.

Отдельно — контрольная группа: 2–3 персонажа, которые не купят, каждый со своей конкретной причиной отвала с карты пути. Без них у прогона нет границы: все реакции сводятся к «в целом интересно», и главный вопрос — кому оффер попадает, а кому нет и по какой линии проходит раздел — остаётся без ответа. Контрольный персонаж при этом не карикатура: его альтернатива для него честно работает, и переубеждаться от красивого текста он не обязан.

И обязательный шлюз — калибровка человеком. Перед прогоном состав показывается заказчику списком, по строке на персонажа: «Марина, 34, владелица кофейни, скептик — уже пробовала таргет и слила 40 тысяч». Вопрос один: узнаёте своих клиентов? Это самый дешёвый фильтр галлюцинаций из всех возможных: человек, который каждый день разговаривает с клиентами, за минуту снимает персонажей «из другого кино». Пропустить этот шаг — значит проверять оффер на выборке, которую никто не видел.

Опора 3. Протокол прогона и принудительный реализм

Каждый персонаж проходит пять шагов независимо от остальных:

1. Первая реакция — пять секунд на артефакт, одна фраза.
2. Тест пересказа — «перескажи своими словами: что тебе предлагают и за сколько».
3. Возражения — что смущает, чему не веришь, что спросил бы у продавца.
4. Сравнение со своей альтернативой — лучше или хуже того, чем персонаж решает задачу сейчас.
5. Порог покупки — что должно случиться, чтобы купил; для контрольных — почему не купит.

Самый информативный шаг — второй. Расхождение пересказа с замыслом автора — это и есть слепая зона формулировки, найденная механически, без экспертных оценок. Модельный пример (прикидка, не из реального проекта): оффер «ведение соцсетей под ключ для малого бизнеса за 30 000 ₽/мес» персонажи пересказывают как «будут постить за меня картинки» и «30 тысяч за посты?!» — обещание «клиенты из соцсетей» не пересказал никто, потому что в оффере его нет, оно есть только в голове автора.

Второй ингредиент — принудительные искажения. Живые респонденты дают социально приличные ответы, путают детали, рационализируют прошлые решения задним числом, уходят от неудобных тем, заполняют пробелы памяти выдумкой и ленятся. Всё это прописывается в карточку и протокол явно: искажения — в 25–40% ответов, треть ответов — односложные («ну да», «долго, не дочитал, что по цене?»). Зазор между «что говорит про бюджет» и «что реально готов потратить» — обязательное поле карточки.

Диагностика провала реализма простая: если у всех персонажей идеальный пересказ и вежливый интерес — прогон не удался, перед вами снова ассистент в десяти масках.

Одна сверка с реальностью

Методу легко верить на слово, поэтому при первой возможности мы сверили его с живым исследованием: по одной теме параллельно прошли синтетическое исследование и обычное, с настоящими респондентами, а потом сделали дифф отчётов слайд-в-слайд. По большинству тематических блоков выводы сошлись: определения и язык, широта картины, психология доверия, страхи, ожидания к интерфейсу. Разошлись там, где и ожидалось: точное ранжирование фич и доли сегментов синтетика воспроизвела плохо.

Замечание Одна параллельная сверка — единичный кейс, валидацией метода её считать нельзя. Мы взяли из неё калибровку: каким типам выводов доверять, какие обязательно перепроверять живыми разговорами.

Чему верить	Что перепроверять живыми
Какие формулировки непонятны и как именно их понимают не так	Ранжирование: что «важнее» из работающего
Типовые возражения и их формулировки	Доли: сколько таких клиентов в базе
Гипотезы страхов и барьеров	Готовность платить, реакция на цену в деньгах
Язык аудитории: как называют проблему и продукт	Всё, что пойдёт в обоснование бюджета

Пять типовых промахов синтетики

Накопились за несколько исследований; предупреждают большинство ошибок интерпретации.

1. Путает «единичного фаворита» и «универсальность». Фичу, полезную во всех сценариях понемногу, синтетика недооценивает — драматургия персонажа требует одного яркого фаворита. Спрашивайте отдельно «что главное» и «что полезно везде».
2. Тянет выводы в яркие личные драмы. История про страх весит в синтетическом отчёте больше, чем скучное «непонятно, что входит в цену» от шести персонажей из десяти. Взвешивайте по частоте: реальный агрегат ответов суше и логистичнее синтетического.
3. Пропускает скучные факторы. Погода, доставка в регион, ассортимент, состояние дорог — то, что не делает персонажа интересным, выпадает из ответов. Добавляйте такие факторы в протокол явно.
4. Сглаживает нюансы до полюсов. «Иногда, если недалеко» превращается в «да» или «нет». Сохраняйте оговорки и условия — в них половина пользы.
5. Склеивает look-alike сегменты с противоположными рецептами. «Мне надо пощупать руками» и «хотел купить онлайн, но в мой город не везут» внешне дают одинаковое «не купил онлайн» — а лечатся противоположными действиями. Разводите такие пары руками при синтезе.

Протокол целиком

Для повторения руками в любом LLM-чате с доступом к файлам — или без автоматизации вовсе:

1. Интервью о бизнесе: продукт и чек → группы покупателей → чем решают сейчас и почему не покупают → карта пути с причинами отвала → 5–10 живых фраз клиентов → артефакт проверки (оффер, текст лендинга, тарифы, сообщение).
2. Грунд-сбор: 15–25 цитат о категории из открытых отзывов и форумов, с пометкой «дословно / близко к тексту». Цитаты не выдумываются — либо нашлись, либо их нет, и это честно понижает доверие к прогону.
3. Десять персонажей по осям, из них 2–3 контрольных с конкретными причинами отвала. В каждой карточке — зазор «говорит/реально» по деньгам и 1–2 адаптированные живые цитаты.
4. Калибровка состава заказчиком. Без подтверждения прогон не запускается.
5. Прогон: пять шагов на персонажа, независимо, с принудительными искажениями.
6. Отчёт: пересказы против замысла → возражения, отсортированные по частоте → слепые зоны → водораздел «кому попадает / кому нет» → причины отказа контрольной группы → список «что проверить на живых» → 3–5 правок формулировок «было → стало».

Чем хорош метод Цена и скорость: полчаса на первый прогон против недель и бюджета на живое исследование. Для задачи «найти кривые формулировки до запуска трафика» этого достаточно, а исправленный по итогам оффер делает последующие живые разговоры содержательнее.

Чем плох Он охотно показывает то, что хочется видеть. Уберите контрольную группу, калибровку или искажения — прогон превратится в дорогой способ получить комплимент. И он принципиально не отвечает на количественные вопросы: любое «сколько» из синтетического отчёта — не данные.

Где метод не работает

• Количественные решения. Ранжирование фич, доли сегментов, ценовая чувствительность, прогноз конверсии — за пределами метода, см. таблицу выше.
• Категории без открытого следа. Узкий B2B, энтерпрайз под NDA: живых цитат не собрать, заземление держится на одном интервью — доверие к прогону ниже, и это стоит честно указывать в отчёте.
• Замена исследований. Это нулевая итерация: репетиция перед живой аудиторией, генератор гипотез и фильтр очевидных ошибок. Отчёт без блока «что проверить на живых» — признак, что инструментом пользуются для самоуспокоения.

Краткие выводы

1. Синтетические персонажи надёжно находят проблемы формулировок и типовые возражения; количественные ответы остаются за живыми исследованиями.
2. Метод держится на трёх опорах: заземление в живых цитатах, контрольная группа «не купит», принудительный реализм ответов. Любая из трёх опущена — получаете генератор комплиментов с уверенным тоном.
3. Сверяйте с реальностью при первой возможности: одна параллельная сверка синтетического и живого исследования калибрует доверие к методу лучше любых рассуждений о нём.
4. Протокол воспроизводим руками; упакованная версия — интервью, генерация карточек, прогон и отчёт по шаблонам — в репозитории synthetic-customers (MIT, скилл для Claude Code, работает и как простая текстовая инструкция для других агентов).

Пробовали синтетических респондентов в работе? Интереснее всего, на чём они врали у вас — копилка промахов выше пополняется именно так.