Как устроена генерация синтетических респондентов и панелей: научные основания, собственные механики с обоснованием каждой, и что показала валидация на 20 реальных исследованиях.
версия алгоритма: quant-v6валидация: 20 исследований · 4 сегментамедианная ошибка 9.3 п.п.сентябрь 2026
1Рамка: что это и для чего
Виртуальный респондент — это LLM-агент, отыгрывающий одного конкретного человека: с ролью в решении, возражениями, речью и ограничениями. Панель таких агентов проходит интервью или количественный замер вместо того, чтобы неделями рекрутировать живых людей на каждый черновой вопрос.
Ключевая идея честности, зашитая во все механики: панель — не замена людям, а фильтр вопросов к ним. Она годится для инвентаризации возражений, шлифовки формулировок, отсева слабых концептов, приоритизации и — в количественном режиме — оценки долей мнений. Она не годится для оценки спроса, цены, конверсии и решений о запуске. Потолок достоверности любого вывода панели — 0.3, и поднять его могут только живые данные.
2Научные основания
Методология опирается на пять групп результатов. У каждой указано, что именно установлено и как это использовано здесь.
Установлено: LLM, кондиционированная на демографический профиль, воспроизводит тонкие, коррелирующие с демографией распределения ответов подгрупп. Использовано: персоны генерируются с полной демографией и контекстом; панель строится как рамка выборки под аудиторию исследования (страна, роли, квоты).
Установлено: разметчики предпочтений системно выбирают «типичный» текст, поэтому выровненные модели сжимают распределение ответов к одной моде; лечится запросом вербализованного распределения вместо сэмплирования одного ответа (2–3× разнообразия, training-free). Использовано: в количественном режиме респондент отвечает распределением «как ответили бы 100 человек, очень похожих на меня», а не одним баллом. Наш замер подтвердил и диагноз: до внедрения test-retest панели был 0.93–1.00 при смещённом уровне — модель отвечала «слишком одинаково».
Установлено: нейтрализация формулировок и рамка третьего лица улучшают совпадение распределений с человеческими сильнее, чем повышение температуры; температура почти не помогает. Использовано: рамка «100 похожих людей» (третье лицо) в количественном режиме. Проверено абляцией: температура 1.5 не изменила ошибку вовсе (V5 = V3 до пункта), рамка + распределения срезали её вдвое.
Установлено: агенты, заякоренные 2-часовыми интервью реальных людей, воспроизводят их ответы на GSS на 85% от планки самосогласованности человека и меньше скатываются в обобщения по группам. Использовано: как ориентир потолка метода и обоснование того, что персоны обязаны нести идиосинкразии (конкретные ситуации, обходные решения, речь), а не только демографию. Якорение живыми интервью — запланированное направление развития.
Систематические смещения мнений LLM
Santurkar et al., «Whose Opinions Do LLMs Reflect?» (2023)
Установлено: у выровненных моделей есть устойчивые социально-политические смещения относительно населения. Использовано: ни одно значение панели не принимается на веру — методология включает обязательную валидацию против опубликованных опросов и явный калибровочный блок (раздел 6).
3Генерация персон: двухшаговый конвейер
Шаг 1
Проектирование состава
Один запрос: кто эти люди и чем различаются по роли в решении, а не по возрасту. Обязателен тот, кто скорее откажется.
Шаг 2
Разворачивание карточек
Каждая персона — отдельным параллельным запросом, по строгой схеме, с валидацией и обрезкой лишних полей.
Всегда
Метки синтетики
evidence.basis = synthetic, confidence = low. Это гипотеза о людях, а не знание о них.
Двухшаговость — прямой ответ на mode collapse: если просить пятнадцать персон одним запросом без плана состава, модель выдаёт вариации одного и того же человека. План состава принудительно разводит их по ролям (платит · пользуется · влияет · блокирует · привратник), затем каждая карточка достраивается независимо.
Обязательные поля карточки, на которых держится качество отыгрыша: context.constraints (настоящие ограничения — время, деньги, согласования), behavior.objections (возражения словами этого человека), behavior.current_workaround (чем обходится сейчас, включая «ничего не делает»), voice (как говорит) и red_flags — чего этот человек никогда не скажет. Последнее поле — главный тормоз угодливости модели на прогоне.
Практическая деталь: схемы строгие (additionalProperties: false), а модель охотно дописывает «полезные» поля. Вместо отбраковки карточка проходит prune() — лишние поля срезаются молча, повтор тратится только на настоящие ошибки содержания. На тестовом продукте это подняло выход конвейера с 1/3 до 4/4.
4Режим глубинных интервью
Качественный режим: каждый респондент — отдельный агент, проходящий гайд интервью; агенты не видят ответов друг друга (иначе хор). Правила отыгрыша требуют скепсиса: право сказать «не понял», «мне некогда», «дорого»; запрет хвалить из вежливости; обязательные ответы про прошлое конкретно, а про будущее — «не знаю, наверное».
Эти правила — осознанный выбор с измеренной ценой. Валидация показала: анти-угодливый режим сдвигает уровни на −20…30 п.п. относительно реальных опросов. Для глубинных интервью это фича (реальные интервью полны скепсиса, а угодливая панель бесполезна); для количественных замеров — недопустимое смещение. Поэтому режимы разделены: правила скепсиса живут только в качественном.
Методические правила гайда (переносятся из классической методологии интервью): вопросы про прошлое и конкретное, стимул в последней трети, запрет наводящих формулировок («удобно ли», «вы бы пользовались»), последним — вопрос на отказ. Ответы кодируются (stance, certainty, hinges_on) — по кодировке триаж решает, какие вопросы вообще стоит нести живым людям.
5Количественный режим: ансамбль двух оценок
Голос 1
Панель распределений
Каждая персона: «представь 100 человек, очень похожих на тебя» → распределение по шкале −2…+2. Нейтральные правила, без предписанного скепсиса.
Голос 2
Популяционная оценка
Модель-«социолог» оценивает распределение ответов аудитории напрямую, без персон.
Итог
Ансамбль × 3 повтора
Среднее двух голосов; их расхождение — метрика неуверенности, выносится в результат.
Почему именно ансамбль — результат абляционной матрицы на эталоне ВЦИОМ (8 сфер доверия ИИ):
схема
MAE, п.п.
ρ Спирмена
test-retest
Глубинный режим (скепсис, один ответ)
22
0.64
0.83–0.95
Нейтрально, один ответ
15
0.79
0.98–1.00
То же + температура 1.5
15
0.79
0.90–0.98
Нейтрально + 3-е лицо + распределения
7
0.74
0.98–1.00
Без персон, «социолог» о населении
6
0.86
0.43–0.93
Ансамбль (панель + социолог)
6.2
0.86
наследует лучшее
Разложение вкладов: снятие скептичной инструкции −7 п.п.; вербализованные распределения −8 п.п.; температура — ноль. Популяционная оценка точна, но нестабильна между повторами — панель даёт ей устойчивость, сегменты и цитаты; «социолог» даёт панели калибровку уровней.
6Калибровочный блок: каждая строка с обоснованием
Промпт количественного режима содержит явные калибровки. Каждая появилась из измеренного провала, сформулирована общо (без упоминания доменов эталонов — защита от подгонки) и проверена регрессией по всем прошлым стендам.
Разрыв «говорю—делаю»: социально-одобряемые ответы на 10–20 п.п. ниже интуиции
Обоснование: классика SDB + провал стенда resale (заявленная «экономность» 68% против 52% реальных). Эффект: часть провалов закрыта; остаточные +10–15 на «правильности» — задокументированная граница.
Не переносить общий цинизм на институты повседневного контакта
Обоснование: OECD Trust Survey — полиции и судам доверяют заметно больше, чем «политике», а модель мазала все институты одним недоверием. Эффект: стенд OECD 11.6 → 7.0 п.п., ρ 0.82 → 0.89.
Реальное использование технологий на 10–15 п.п. ниже медийного впечатления; нишевые практики <20%; платные сервисы за год — 15–35% населения
Обоснование: Pew-стенды (подростки и чат-боты; ride-hailing 22% реальных против 42% у панели). Эффект: стенд подростков 10.4 → 3.5–5.2 при ρ=1.00.
В вопросах «А, Б или в равной мере» средний вариант часто самый частый (30–45%)
Обоснование: модель системно сдувает средний вариант в пользу полюсов (Pew: реальные 38% «в равной мере» против 24–27% у панели). Эффект: частичный; глобальные трёхточки остаются в границе применимости.
Само-оценки: компетентность люди слегка переоценивают, а бытовые промахи признают охотно (50–70%)
Обоснование: двусторонний провал — «мне легко разобраться в чаевых» завышалось, «забывал отменить подписку» занижалось (41% против 63% реальных признаний). Ранняя односторонняя версия правила ухудшила соседний стенд — заменена сбалансированной. Эффект: стенд подписок 17.5 → 11.1.
Доли лидера в форс-выборе редко выше 60%; аутсайдеры списка — меньше, чем кажется
Обоснование: пресс-данные US Chamber; без правила панель раздавала «да» всем вариантам. Эффект: вместе с самим форматом форс-выбора — 30.6 → 3.9 п.п.
Мультивыбор нельзя разворачивать в серию «да/нет». «Является ли X одной из главных проблем?» собирает «да» на всё (ошибка 30+ п.п.). Правильно: формат форс-выбора — «назовите не больше двух главных из списка», модель распределяет 100 человек по вариантам.
Вопросы «А или Б» — только в направленной форме. «Предпочтёте живого сотрудника или бота?» оставляет направление шкалы на волю модели (получили 15% там, где эталон 69% — ответ был верным, но с обратным знаком). Правильно: «предпочтёте ли вы А, а не Б?».
Серию ситуаций нельзя сжимать в «обычно ли вам…». Оригинал Pew спрашивал о чаевых по множеству ситуаций; сжатие в один «обычный» вопрос дало худшую ошибку батча. Зеркало обязано сохранять грануляцию оригинала.
Аудитория панели = аудитория опроса. Включая перекосы брифа: панель «пользователей подписок, в том числе принципиальных отменяльщиков» отвечала как отменяльщики, а не как население опроса.
8Валидация: 20 исследований, 4 сегмента
Финальная проверка: 20 опубликованных опросов (ВЦИОМ, НАФИ, Анкетолог, Сбер, Pew Research, US Chamber, McKinsey, OECD, Eurobarometer, ThredUp, Rock Health, Gartner) зеркалировались вопрос-в-вопрос; названия исследований и их результаты в промпты не попадали. Шесть версий алгоритма, после каждой — регрессия по всем прошлым стендам: ни одна правка не сломала ранее пройденные.
эталоны после cutoff (Сбер-2025, цифрофобии-08.2025) воспроизводятся не хуже старых — панель эмулирует установки, а не вспоминает опросы
9Границы применимости
Измерены на тех же 20 стендах и сообщаются пользователю в каждом отчёте:
надёжно ранжирования и приоритеты; полюса шкал; доли мнений о концептах; инвентаризация возражений.
с осторожностью тонкое ранжирование внутри плотной середины шкалы; трёхточечные распределения на гетерогенных глобальных аудиториях; острые свежие темы (реальный фон мошенничества давит на людей сильнее, чем «помнит» модель).
не использовать отношение к уже сделанному выбору («доверяете ли своему банку» — survivorship, панель даёт 50% против 82% реальных); возрастные и демографические разрезы; профессиональная ИИ-адопция (худший стенд, 26 п.п.); спрос, цена, конверсия, размер рынка.
Принцип прозрачности
Каждый артефакт панели несёт метку синтетики; потолок confidence — 0.3; расхождение двух голосов ансамбля публикуется как зона неуверенности; вопросы, на которые панель отвечает предсказуемо, триаж снимает с живых интервью, а нерешаемые панелью — адресует людям. Единодушие панели — сигнал «проверить на живых», а не решение.