Промпты для анализа открытых ответов опроса строятся как последовательность из трёх шагов: проверка кодбука, разметка с дословными цитатами, подсчёт тем на явно заданном знаменателе. Ниже — учебный набор из восьми ответов, готовые промпты и таблица с проверяемыми числами.
Единица анализа, база и цель опроса
Работа начинается с трёх решений, которые определяют всё дальнейшее. Единица анализа — один ответ одного респондента, привязанный к его ID. База этого учебного расчёта — восемь представленных ID, включая пустой ответ R3. Это условие примера; список всех приглашённых к опросу не задан. Цель — превратить свободный текст в набор тем с частотами, сохранив связь каждой темы с исходной формулировкой.
BTInsights описывает подготовку данных, кодирование, ревью, экспорт и кросс-таблицы. Сначала настройте обработку вопроса и подготовьте набор; затем проверяйте разметку.
Практический вывод для промптов: передайте модели подготовленный обезличенный набор. ID респондента сохраняется в каждой строке. Число респондентов и число назначенных кодов считаются отдельно, потому что один ответ может нести несколько тем.
Учебный пример, на котором построена статья, — вопрос Что было полезно и что изменить в занятии? и восемь ответов:
R1: Понравились примеры, но слишком быстро.
R2: Слайды мелкие.
R3: (пусто)
R4: Всё понятно.
R5: Нужно больше практики.
R6: Примеры полезные.
R7: Норм.
R8: Не успел за объяснением, нужны дополнительные упражнения.
Утверждённый кодбук: E — содержательный комментарий о примерах; P — скорость объяснения, не успевает; M — читаемость слайдов; PR — запрос упражнений и практики; G — общая оценка без указанной предметной темы. Несколько предметных кодов допустимы. G ставится только там, где предметного комментария нет. MISSING — флаг пустого ответа, отдельный от тем.
Все ответы учебные. Восемь респондентов, семь непустых ответов, девять тематических назначений — это условный вход для проверки логики подсчёта.
Промпт 1: проверка кодбука и пограничных случаев
Первый промпт не размечает данные. Он проверяет, пригодны ли утверждённые правила для этого набора, и показывает места, где возможны расхождения. Модель не меняет кодбук молча: любое предложение по правилам выносится отдельным списком.
Вопрос опроса: Что было полезно и что изменить в занятии?
Проверь пригодность утверждённых правил на учебном наборе. Правила не меняй молча: предложения по изменению вынеси отдельным списком.
Кодбук:
E — содержательный комментарий о примерах;
P — скорость объяснения, не успевает;
M — читаемость слайдов;
PR — запрос упражнений и практики;
G — общая оценка без указанной предметной темы;
несколько предметных кодов разрешены;
G ставится только там, где предметного комментария нет;
пустой ответ помечается MISSING.
Данные:
R1: Понравились примеры, но слишком быстро.
R2: Слайды мелкие.
R3: (пусто)
R4: Всё понятно.
R5: Нужно больше практики.
R6: Примеры полезные.
R7: Норм.
R8: Не успел за объяснением, нужны дополнительные упражнения.
Выведи: список пограничных случаев с ID и объяснением, список вопросов к исследователю, проверку каждого правила на применимость. Людей не оценивай, эмоциональные коды не создавай.
Что в нём менять под себя: формулировки кодов, список ответов, язык кодбука. Квадратные скобки в промпте не нужны, потому что весь вход задан явно.
Ожидаемый результат проверки: R1 и R8 допускают по два кода, R3 остаётся пустым и получает MISSING, R4 и R7 без указанной темы относятся к G. На этом учебном наборе правила позволяют разметку. Выдавать такой результат за валидацию на всей генеральной совокупности нельзя: восемь ответов демонстрируют только работу правил на заданном материале.
Практика Quali-Fi в Open-End Coding Studio устроена похоже: сначала выбирается вопрос и просматриваются примеры ответов, затем строятся темы — предложением, своим списком или повторным использованием сохранённого кодбука, — и только потом запускается кодирование. Документация Quali-Fi рекомендует начинать с прогона на малой выборке перед обработкой полного набора.
Промпт 2: разметка всех ответов с исходными цитатами
Второй промпт выполняет разметку и требует дословную опору для каждого кода. Формат вывода — строка на респондента: ID, коды, цитата. Модель сохраняет все восемь ID и ничего не дописывает за респондента.
Разметь восемь учебных ответов на вопрос: Что было полезно и что изменить в занятии? Используй утверждённый кодбук.
Кодбук:
E — примеры;
P — темп, не успевает;
M — читаемость слайдов;
PR — упражнения и практика;
G — общая оценка без темы;
несколько предметных кодов допустимы;
G ставится только там, где предметного комментария нет;
пустой ответ помечается MISSING.
R1: Понравились примеры, но слишком быстро.
R2: Слайды мелкие.
R3: (пусто)
R4: Всё понятно.
R5: Нужно больше практики.
R6: Примеры полезные.
R7: Норм.
R8: Не успел за объяснением, нужны дополнительные упражнения.
Формат вывода: ID | коды | дословная опора.
Сохрани все восемь ID. Ничего не дописывай за респондента. Для пустого ответа цитату не придумывай.
Для своего набора замените вопрос, кодбук и полный список ответов. Формат вывода оставьте прежним, он позволяет сверить каждую строку с исходником.
Ручной эталон для сверки: R1 — E и P с опорой на «Понравились примеры» и «слишком быстро»; R2 — M, «Слайды мелкие»; R3 — MISSING без цитаты; R4 — G, «Всё понятно»; R5 — PR, «больше практики»; R6 — E, «Примеры полезные»; R7 — G, «Норм»; R8 — P и PR, «Не успел за объяснением» и «нужны дополнительные упражнения».
Документация Quali-Fi описывает похожий шаг ревью: сначала разбираются элементы, помеченные как требующие внимания, затем используются инструменты ручной правки — переопределение тем для одного ответа и массовое применение к похожим ответам. Документация BTInsights добавляет, что результаты показывают каждый код с частотой, процентом и описанием, а по клику видны все ответы, отнесённые к коду, с подсвеченными предложениями-основаниями.
Промпт 3: подсчёт тем на указанном знаменателе
Третий промпт считает по готовой разметке и не перекодирует текст. Знаменатель задаётся явно: все восемь респондентов, включая пустой ответ. MISSING остаётся отдельным флагом и не превращается в тему.
Посчитай по готовой разметке. Текст не перекодируй.
Разметка:
R1 = E, P
R2 = M
R3 = MISSING
R4 = G
R5 = PR
R6 = E
R7 = G
R8 = P, PR
База долей — все 8 респондентов, включая пустой ответ.
MISSING — отдельный флаг, не тема.
Для каждого кода выведи: число уникальных ID, список ID, долю от 8.
Отдельно выведи: число непустых ответов, число тематических назначений.
Объясни, почему сумма долей может превышать 100%.
Для своей задачи задайте основание знаменателя и замените таблицу разметки. Знаменатель указывайте до запуска, иначе модель выберет его сама.
Результат на учебном наборе: E — 2 (R1, R6), P — 2 (R1, R8), M — 1 (R2), PR — 2 (R5, R8), G — 2 (R4, R7). Доли от восьми: 25%, 25%, 12,5%, 25%, 25%. Непустых ответов 7, тематических назначений 9, пустых 1. MISSING — 1 из 8, то есть 12,5%, отдельной строкой.
Восемь ответов и заполненная таблица
Сводная таблица собирает разметку и подсчёт в одном месте. Её можно перенести в CSV и использовать как основу для отчёта.
| ID | Ответ | Коды | Дословная опора |
|---|---|---|---|
| R1 | Понравились примеры, но слишком быстро. | E, P | «Понравились примеры», «слишком быстро» |
| R2 | Слайды мелкие. | M | «Слайды мелкие» |
| R3 | (пусто) | MISSING | — |
| R4 | Всё понятно. | G | «Всё понятно» |
| R5 | Нужно больше практики. | PR | «больше практики» |
| R6 | Примеры полезные. | E | «Примеры полезные» |
| R7 | Норм. | G | «Норм» |
| R8 | Не успел за объяснением, нужны дополнительные упражнения. | P, PR | «Не успел за объяснением», «нужны дополнительные упражнения» |
| Код | Число ID | Список ID | Доля от 8 |
|---|---|---|---|
| E | 2 | R1, R6 | 25% |
| P | 2 | R1, R8 | 25% |
| M | 1 | R2 | 12,5% |
| PR | 2 | R5, R8 | 25% |
| G | 2 | R4, R7 | 25% |
| MISSING | 1 | R3 | 12,5% |
Непустых ответов — 7. Тематических назначений — 9. Пустых — 1.
Девять назначений кодов и сумма выше 100%
Девять назначений на семь непустых ответов возникают потому, что два ответа несут по два кода. R1 соединяет примеры и жалобу на темп, R8 соединяет жалобу на темп и запрос упражнений. Каждое назначение — отдельная связь между ответом и темой.
Сумма долей по тематическим кодам даёт 112,5%: 25 + 25 + 12,5 + 25 + 25. Это ожидаемое следствие множественного кодирования. Один респондент может упомянуть несколько тем, поэтому доли описывают распространённость тем среди восьми ID и допускают пересечение.
Документация BTInsights прямо предупреждает: при множественном кодировании проценты в столбце не складываются в 100%, поскольку один ответ может нести несколько кодов. Там же описан выбор между мультикодовым и однокодовым режимом: однокодовый даёт одну основную тему на ответ и проценты, складывающиеся в 100%.
Практический вывод для промпта: сумму долей объясняйте в самом запросе. После подсчёта проверьте, что модель не нормализовала доли до100% и не назвала превышение ошибкой.
Пустой ответ, многотемный ответ и общая оценка
Три случая требуют отдельных правил, и все три видны в учебном наборе.
Пустой ответ. R3 не получает тему и не превращается в нейтральную оценку. MISSING обозначает состояние пустого ответа и считается отдельно от тем. Доля пустых считается отдельно от долей тем.
Многотемный ответ. R1 и R8 получают по два кода. Правило «несколько предметных кодов допустимы» должно стоять в промпте явно, иначе модель выберет один код и потеряет вторую тему.
Общая оценка. R4 и R7 содержат оценку без указания предмета. Код G применяется только там, где предметного комментария нет. Ответ R1 содержит и оценку примеров, и жалобу на темп, поэтому G к нему не относится.
Документация Quali-Fi советует использовать ясные взаимно исключающие метки тем, если множественность не заявлена намеренно. Документация BTInsights описывает настройку кодирования по типу вопроса: тематическое кодирование для мнений, причин и опыта, сущностное — для названий брендов, магазинов, городов и продуктов. Для вопроса Что было полезно и что изменить в занятии? подходит тематическое кодирование.
Спорные случаи на ручную проверку
BTInsights рассматривает ИИ-кодирование как первый проход: исследователь утверждает финальную разметку, может переназначить ответы, объединить или разделить коды. Для нашего примера решения уже закреплены в ручном эталоне.
Что отдавать на ручную проверку в учебном наборе:
- R1 и R8 — подтвердить, что оба кода уместны, и что цитаты покрывают каждую тему.
- R3 — проверить исходную ячейку и обработку пробелов или служебных символов.
- R4 и R7 — подтвердить, что предметного комментария нет и код G уместен.
- Границу между P и PR в R8 — решить, относится ли «не успел за объяснением» к темпу или к нехватке практики.
Документация Quali-Fi описывает похожий порядок: сначала разбираются элементы, требующие внимания, затем кодбук блокируется и утверждается для аналитики. Аудит-история и выгрузка CSV доступны в панели исследовательских инструментов.
Отрицательная проба: разделить девять назначений на семь непустых ответов и объявить результат процентом респондентов. Числитель и знаменатель отвечают на разные вопросы, поэтому такая операция отклоняется. Из двух жалоб на темп вывод о недовольстве большинства не следует.
Проверьте файлы разметки и расчёта перед отчётом
Сохраните кодбук отдельно от таблицы назначений и подпишите версию. Затем соберите список восьми ID из исходника и сравните его со списком в результате. Важно проверить сами идентификаторы: одинаковое число строк не исключает потерю R3 и случайное дублирование другого ответа. Если для одного ID выводятся несколько строк, сначала соберите его назначения вместе и удалите повтор одного кода в пределах этого ID. Это техническое удаление повторной связи не меняет исходный ответ.
Дальше восстановите списки для каждой темы по таблице разметки. E должен вернуть R1 и R6; P — R1 и R8; M — только R2; PR — R5 и R8; G — R4 и R7. После совпадения списков считайте их длины и делите на восемь. Нельзя сначала сложить все назначения и разделить полученную сумму на число строк, а затем назвать её долей людей с жалобами. Для жалобы на темп важен конкретный список P, который содержит два ID.
В отчёт передавайте вопрос, основание базы, кодбук, таблицу с цитатами и итоговые частоты. Рядом с тематическими долями поясните множественное кодирование; пустой ответ покажите отдельно. Общая оценка G не разделяется на положительную и отрицательную: таких кодов в утверждённых правилах нет. Фраза Норм также не подтверждает конкретную тему о примерах, темпе или практике.
Если исследователь изменит правило, сохраните причину и новую версию кодбука. Заново проверьте весь учебный набор по изменённому правилу и пересчитайте списки ID. Не смешивайте частоты старой версии с цитатами новой. Изменение одной строки может повлиять на несколько тематических долей, поэтому в сопроводительной записи перечислите изменённые назначения. Исходные ответы и их ID при таком пересмотре сохраняются.
Частые вопросы
Как считать проценты, если ответов больше одного кода?
В этом примере знаменатель — все восемь заданных ID, включая R3. Для каждого кода считаются уникальные ID с этим назначением. Из-за пересечений тематические доли дают112,5%. MISSING считается отдельно.
Что делать с пустым ответом?
R3 получает MISSING без цитаты. Он входит в учебную базу восьми ID по условию расчёта; доля пустых равна12,5%. Для другого исследования заранее определите, входит ли пустой ответ в выбранную базу.
Можно ли использовать свой кодбук вместо сгенерированного?
Да. Документация BTInsights описывает два режима: генерация кодбука моделью для новых исследований и загрузка собственного кодбука для трекеров и многовалновых проектов, где коды должны оставаться согласованными. Документация Quali-Fi предлагает три пути: предложить темы, вставить свой список, повторно использовать сохранённый кодбук организации.
Как проверить, что модель разметила ответы правильно?
Сопоставьте код и дословную опору. В R8 фраза про объяснение даёт P, запрос упражнений — PR. В R3 опоры нет. Проверьте сохранность всех ID и сравните списки с ручным эталоном.
Какой знаменатель указывать в промпте?
Запишите точное множество ID, по которому нужна доля. Здесь оно содержит восемь ID; непустых ответов семь. При смене базы заново пересчитайте и подпишите доли. Девять назначений кодов не являются девятью респондентами.