Как подготовить опрос Дельфи с помощью ИИ: организатор задаёт экспертную панель, анонимность, число раундов и критерий завершения, ИИ формулирует вопросы и собирает анонимную сводку, а решения и оценки остаются за людьми. Ниже — рабочий порядок, промпты и полный пример двух раундов.
Панель, анонимность, раунды и обратная связь
Метод Дельфи — структурированная процедура сбора и пересмотра экспертного суждения. Участники отвечают приватно, исследовательская команда возвращает им явную сводку ответов группы, после чего участники могут ответить снова. Так метод описывает документация проекта Delphi Studio. Четыре элемента держат конструкцию: экспертная панель, анонимность, итерация раундов и обратная связь со сводкой.
Панель — это люди с подтверждённой компетенцией в теме. В методической работе Iqbal и Pipon-Young на сайте fws.gov сказано, что панелистов отбирают по ясным критериям включения, а определение «экспертизы» исследователь задаёт сам. Там же приведены ориентиры: опросы Дельфи проводили с семью участниками и с тысячей, а Turoff (2002) рекомендует панели от 10 до 50 человек. Разнородная панель даёт более убедительный опросник, и людей с отличающейся позицией стоит приглашать намеренно.
Анонимность снижает групповое давление. В руководстве RAND по проведению панелей Дельфи сказано, что анонимность повышает объективность результатов: она уменьшает групповое мышление, эффект ореола и давление на участников, а также позволяет высказывать непопулярные мнения и менять ответ без потери лица. Правила доступа задают заранее: панелисты получают сводку без имён, а доступ организатора к исходным ответам описывают отдельно. Условная метка сама по себе не гарантирует невозможности узнать автора по содержанию.
Раунды и обратная связь работают в паре. RAND описывает цикл так: организаторы собирают ответы и отправляют панелистам анонимную сводку группы, где видны собственные исходные ответы и обзор объяснений других; участники пересматривают свои ответы, и процесс повторяется минимум ещё один раз. Итоговые индивидуальные суждения агрегируют, чтобы определить, достигнуто ли согласие.
Обратная связь сохраняет распределение позиций и основания ответов. В работе на fws.gov отмечено, что для третьего раунда полезно возвращать проценты и индивидуальные оценки по каждому пункту: участник видит разброс ответов и проверяет, верно ли записаны его собственные оценки.
| Элемент | Что задаёт организатор | Что делает ИИ |
|---|---|---|
| Панель | Критерии включения, состав | Черновик приглашения, проверка формулировок |
| Анонимность | Правило хранения ответов | Сводка без имён |
| Раунды | Число и содержание раундов | Сборка пакета вопросов |
| Обратная связь | Что показывать группе | Сводка с сохранением оснований |
| Завершение | Критерий до сбора данных | Проверка, что критерий записан |
ИИ не объявлять человеческим экспертом
ИИ готовит вопросы и сводит ответы. Экспертное суждение дают люди, включённые в панель. В документации Delphi Studio прямо сказано: программа фиксирует процесс, методом она не является; каждый раунд открывается после того, как основной исследователь утвердит содержание, правила, форму согласия и расписание.
Практическое следствие для промптов: модели запрещают добавлять участников, придумывать ответы и отвечать за панелистов. Если в промпте сводки нет запрета на новых экспертов, модель может дописать четвёртое мнение, которого никто не высказывал. Тогда сводка перестаёт отражать панель.
Второе следствие: ИИ не выставляет оценки за человека. Шкалы, ранги и проценты появляются из ответов участников. Модель может посчитать распределение по уже собранным данным, и это допустимая техническая операция. Подставлять значения вместо пропущенных ответов нельзя: пропуск остаётся пропуском.
Третье следствие: роль ИИ описывают в протоколе. Читатель отчёта должен понимать, какие шаги выполнила модель, а какие — исследователь. В методической литературе на fws.gov подчёркнуто, что конструкция опросника второго раунда требует внимания к принципам дизайна вопросов и расширенного пилотирования, чтобы убрать двусмысленные, повторяющиеся и неточные пункты. Пилотирование проводит человек.
Промпт ниже задаёт модели границы роли: она формулирует и сводит, участников не добавляет.
Ты помогаешь организатору опроса Дельфи. Твоя роль — формулировать вопросы,
собирать анонимную сводку и проверять полноту пакета раунда.
Ты не являешься экспертом и не даёшь экспертных оценок.
Запрещено: добавлять участников, придумывать ответы, отвечать за панелистов,
подставлять значения вместо пропусков, объявлять согласие по большинству.
Тема опроса: [ваша тема]. Число участников: [число]. Критерий завершения: [правило].
Что менять под себя: тему, число участников и правило завершения. Критерий завершения организатор фиксирует до сбора данных.
Не считать согласие доказательством истинности
Согласие панели — один из возможных результатов. В документации Delphi Studio сказано, что согласие не гарантировано и не является единственным законным итогом: исследование может выявить устойчивое разногласие или неопределённость. Там же метод отделён от простого голосования: заранее заданное правило определяет, что считается решённым, а простое преобладание голосов не заменяет критерий согласия. Универсального процента для всех исследований нет.
В работе на fws.gov указано ограничение обобщений: другая панель может прийти к другим выводам, и нельзя заключить, что выявлены единственно верные вопросы. Это ограничение стоит переносить в отчёт.
RAND описывает механизм так: итерация, анонимность, групповая обратная связь и статистическая сводка помогают выявить области согласия и разногласия и могут как способствовать выработке консенсуса, так и подтвердить расхождение во мнениях. Формулировка «подтвердить расхождение» важна: она делает разногласие полноценным результатом.
Что это меняет в подготовке. В протоколе заранее описывают, как будет считаться согласие: по какому пункту, по какой шкале, при каком правиле. Отдельно фиксируют, что будет считаться устойчивым разногласием. Если правило не задано, сводка превращается в голосование, а его результат выдаётся за истину.
Таблица ниже показывает, как одно и то же число ответов читается по-разному в зависимости от заранее заданного правила.
| Наблюдение в сводке | Вывод при правиле «согласие по заранее заданной шкале» | Вывод при правиле «устойчивость между раундами» |
|---|---|---|
| Два ответа из трёх за один вариант | Порог не достигнут, если правило выше | Позиции сравнивают между раундами |
| Позиция меньшинства сохранилась | Основание остаётся в сводке | Расхождение фиксируется как результат |
| Часть данных не получена | Описать пропуски по принятому правилу | Проверить сопоставимость ответов и влияние выбывания |
Сохранять основания меньшинства
Основание меньшинства сохраняют как часть данных. В работе на fws.gov сказано, что в панель стоит активно приглашать людей с отличающейся позицией, поскольку разнородная панель даёт более убедительный опросник. Если такие позиции собраны, их удаление из сводки обнуляет работу по отбору.
Технически это требование к промпту сводки: сохранить выбор, отдельные основания, условия пересмотра и пробелы каждого участника; не сводить одинаковый выбор к одинаковому аргументу; не удалять позицию меньшинства. Два участника могут выбрать один вариант по разным причинам, и склейка их в один аргумент искажает картину.
RAND отмечает, что анонимность позволяет высказывать мнения, которые участник считает непопулярными или нестандартными. Сводка, где такие мнения исчезают, обесценивает саму анонимность.
Порядок действий при сборке сводки:
- Соберите ответы участников в одном месте, сохранив привязку к условным меткам.
- Передайте модели только ответы этой панели и запрет на новых участников.
- Потребуйте отдельно перечислить выбор, основание, условие пересмотра и пробел по каждому пункту.
- Проверьте вручную, что позиция меньшинства видна и её основание не склеено с чужим.
- Уберите из сводки имена, оставив метки, если они нужны для второго раунда.
Промпт для сводки первого раунда:
Составь анонимную сводку только по перечисленным ответам.
Сохрани выбор, отдельные основания, условия пересмотра и пробелы каждого участника.
Не своди одинаковый выбор к одинаковому аргументу.
Не удаляй позицию меньшинства.
Не добавляй экспертов, числа участников и новые ответы.
Не объявляй консенсус по наличию большинства.
Ответы: [вставьте ответы панели]
Что менять под себя: список ответов и формулировку вопроса. Требования к сохранению оснований остаются.
Полный пример подготовки двух раундов
Пример ниже составлен вручную как учебная спецификация процесса. Это вымышленная панель из трёх участников с метками A, B и C; они не являются реальными людьми и не являются результатом опроса модели. Настоящий опрос не проводился, поэтому результат здесь ограничен структурой пакетов и способом их проверки; измеренного мнения нет.
Вопрос первого раунда:
Какой формат встречи клуба выбрать на следующий месяц: онлайн либо очно?
Укажите выбор, главное основание, условие пересмотра и неизвестные данные.
Известно только, что помещение доступно по четвергам; число удалённых участников неизвестно.
Ответы панели:
A: Очно: помещение доступно. Пересмотрю, если участников из других городов много;
их число неизвестно.
B: Онлайн: удалённым проще участвовать. Пересмотрю, если все живут рядом;
число удалённых неизвестно.
C: Очно: хочу совместную практику. Пересмотрю, если нужные материалы нельзя
использовать в помещении; наличие материалов неизвестно.
Сводка после первого раунда: за очный формат высказались A из-за доступного помещения и C из-за совместной практики; B выбрал онлайн из-за удобства удалённого участия. Расхождения остаются. Позиции A и B зависят от неизвестного состава участников, а позиция C — от наличия материалов. Данные о составе и материалах не получены, единогласия нет, обоснованность любого формата требует проверки.
Полный копируемый учебный пакет второго раунда:
Раунд 2. Исходный вопрос:
Какой формат встречи клуба выбрать на следующий месяц: онлайн либо очно?
Укажите выбор, главное основание, условие пересмотра и неизвестные данные.
Известно только, что помещение доступно по четвергам; число удалённых участников неизвестно.
Анонимная сводка раунда 1:
A за очно из-за доступного помещения; C за очно из-за совместной практики.
B за онлайн из-за удалённого участия. Основания A и C различаются.
Число удалённых участников и наличие материалов неизвестны.
Разногласие сохраняется; большинство не объявлено консенсусом.
Каждому участнику:
Сохраняете ли выбор после чтения сводки?
Какой чужой аргумент влияет на вас?
Какой информации ещё не хватает и при каком условии вы измените позицию?
Новый ответ A:
Новый ответ B:
Новый ответ C:
Критерий согласия и правило окончания организатор должен задать до реального сбора.
В этой ручной спецификации они не выбраны; реальное исследование не запущено.
Пустые строки новых ответов оставлены намеренно. Нельзя дописывать, что B изменил выбор, или считать молчание согласием. Перед настоящим опросом организатор завершает протокол, проверяет вопрос на понятность и выбирает правило обработки пропусков.
Промпт сборки второго пакета:
Подготовь сообщение следующего раунда с исходным вопросом, полной сводкой
и тремя уточнениями. Поле нового ответа оставь пустым; не отвечай за экспертов.
Укажи, что критерий окончания и правило согласия организатор должен задать заранее.
Проверка результата: метки A, B и C сохранены без имён; основания A и C не склеены; позиция меньшинства B видна; во втором раунде есть пустые места для ответов; четвёртый эксперт не появился; смена позиции не придумана. Формулировка «эксперты согласовали очно, потому что двое за» отклоняется на этом шаге.
Критерий завершения задаёт организатор заранее
Правило остановки записывают до начала сбора данных. В документации Delphi Studio сказано, что исследование объявляет своё правило остановки заранее: это может быть максимальное число раундов, правило устойчивости, которое команда оценивает вручную, или оба правила вместе.
Число раундов зависит от цели. В работе на fws.gov сказано: если исследование нацелено на выработку согласия, предпочтительны три раунда и более, желательно сохранять одну и ту же панель и следить за высокой долей ответов; если метод служит измерению мнений, обычно достаточно меньшего числа раундов, полный набор данных менее критичен, а панель можно расширять, приглашая новых участников во втором раунде. Обобщать это в «любой Дельфи длится два раунда» нельзя: два пакета выше образуют учебную спецификацию; универсальное число раундов этим не задаётся.
Что фиксируют в протоколе до сбора данных:
| Параметр | Пример записи | Кто утверждает |
|---|---|---|
| Максимум раундов | Число, выбранное организатором | Организатор |
| Правило согласия | Критерий по пункту с выбранной шкалой и условием достижения | Организатор |
| Правило устойчивости | Отсутствие смены позиций между раундами | Организатор |
| Работа с выбывшими | Как учитывают неответы | Организатор |
| Роль ИИ | Формулировка вопросов и сводка | Организатор |
Порядок подготовки целиком:
- Определите цель: измерение разнообразия мнений или движение к согласию.
- Задайте критерии включения в панель и пригласите отличающиеся позиции.
- Запишите правило остановки и правило согласия до сбора данных.
- Сформулируйте вопрос первого раунда с полями выбора, основания, условия пересмотра и пробелов.
- Соберите ответы и получите анонимную сводку с сохранением оснований.
- Соберите пакет следующего раунда с исходным вопросом, сводкой и уточнениями.
- Проверьте пакет по списку: метки без имён, пустые поля ответов, отсутствие новых участников.
- Остановите сбор по заранее заданному правилу и опишите в отчёте панель, шкалу, правило согласия, выбывших и способ оценки остановки.
Частые вопросы
Сколько экспертов нужно для панели Дельфи?
В методической работе на fws.gov приведены ориентиры: опросы проводили с семью участниками и с тысячей, а Turoff (2002) рекомендует панели от 10 до 50 человек. Выбор зависит от темы, времени и ресурсов исследователя. Критерии включения описывают заранее, чтобы результаты можно было оценивать. В панель стоит приглашать людей с отличающейся позицией.
Можно ли поручить ИИ опрос экспертов целиком?
ИИ готовит вопросы и сводит ответы, а экспертное суждение дают люди. Документация Delphi Studio описывает программу как средство фиксации процесса, где каждый раунд открывается после утверждения содержания и правил исследователем. Модель не добавляет участников и не отвечает за них. Оценки и решения остаются за панелью и организатором.
Что делать, если согласие не достигнуто?
Устойчивое разногласие — законный результат. В документации Delphi Studio сказано, что согласие не гарантировано и исследование может выявить устойчивое разногласие или неопределённость. RAND отмечает, что метод способен подтвердить расхождение во мнениях. В отчёт переносят основания разных позиций и указывают, каких данных не хватает.
Как сохранить анонимность при сводке ответов?
Сводку собирают без имён, оставляя условные метки, если они нужны для второго раунда. RAND связывает анонимность с готовностью высказывать непопулярные мнения и менять ответ без потери лица. В промпте сводки задают запрет на добавление участников и новых ответов. Перед отправкой пакет проверяют вручную.
Чем Дельфи отличается от обычного опроса?
Дельфи итеративен по устройству: один опрос исследованием Дельфи не является, и сходимость в конце не предполагается. Участники отвечают приватно, а команда возвращает явную сводку ответов группы. Исследование объявляет правило остановки заранее. В этом сравнении одиночный опрос ограничен одним сбором ответов; отличительный шаг Дельфи — пересмотр после управляемой обратной связи.
