Промпты для критического чтения научной статьи дают пять отдельных проверок: устройство сравнения, два знаменателя выбывания, измеренный показатель, масштаб вывода и различие между неописанным и несделанным. Каждый запрос получает полный учебный вход и ручной эталон для сверки. Сначала читатель проходит текст сам, затем использует модель как помощника.
Сначала прочитать источник самому и определить границы фрагмента
Критическая оценка по определению CASP — это процесс внимательного и систематического изучения исследования для суждения о его надёжности, ценности и уместности в конкретном контексте. Организация CASP описывает это как базовый навык доказательной медицины: он позволяет находить и использовать исследовательские данные надёжно и эффективно. Там же сказано, что место публикации и имя автора сами по себе не служат указанием на надёжность и уместность работы.
Практический вывод для читателя: до любого запроса к модели нужно самому прочитать фрагмент и обозначить его границы. В учебном артефакте, который используется ниже, каждый промпт работает с явно переданным отрывком. Модель не видит остальной статьи, приложений и протокола. Если фрагмент заканчивается на абзаце о результатах, выводы авторов из обсуждения остаются за пределами входа.
CASP перечисляет типы исследований, к которым применяется оценка: рандомизированные контролируемые испытания, систематические обзоры, когортные исследования, исследования случай-контроль, поперечные срезы, качественные работы, экономические оценки, диагностические исследования, серии случаев и описания отдельных случаев. Устройство сравнения в каждом типе своё, и первый промпт начинается именно с него.
Порядок действий читателя: прочитать отрывок целиком, отметить, где заканчивается переданный текст, выписать своими словами вопрос исследования и только затем открывать модель. Такой порядок сохраняет самостоятельность суждения и делает сверку с ручным эталоном осмысленной.
Первый запрос: дизайн и предел причинности
Первый промпт проверяет устройство сравнения и отделяет наблюдаемую разницу от доказанного причинного эффекта. Учебный вход: 40 волонтёров, 20 самостоятельно выбрали новый учебный курс, 20 — обычный курс; через месяц средний балл теста 82 и 75; распределение не было случайным; авторы пишут, что новый курс повысил результаты.
Ручной эталон для сверки: неслучайное самоопределение в две группы; 82 против 75 — наблюдение; причинный эффект из этих данных не установлен; различия исходной мотивации — возможное объяснение, которое не измерено. Отрицательная проба разница 7 баллов доказывает эффект курса отклоняется.
Ты помогаешь мне критически читать только переданный учебный фрагмент. Границы доступных данных указывай явно. Фрагмент: В исследовании участвовали 40 волонтёров. 20 самостоятельно выбрали новый учебный курс, 20 — обычный курс. Через месяц средний балл теста составил 82 и 75 соответственно. Распределение не было случайным. Авторы пишут: «Новый курс повысил результаты». Назови устройство сравнения, отдели наблюдаемую разницу от доказанного причинного эффекта и укажи одну альтернативную причину, пометив её гипотезой. Для каждого факта покажи фразу исходника. Не ставь score и не принимай решение о качестве всей работы.
Что менять под себя: подставьте свой фрагмент в поле после слова «Фрагмент», замените числа и формулировку вывода авторов на свои. Строку про отсутствие score сохраняйте: она удерживает модель в рамках разбора отрывка.
CASP в списке вопросов для оценки предлагает проверять, как было спроектировано исследование, как отбирались участники и выведены ли результаты и заключения напрямую из данных. Эти вопросы задают рамку, внутри которой работает промпт.
Второй запрос: два знаменателя выбывания
Второй промпт считает два разных знаменателя. Учебный вход: на приглашение ответили 50 волонтёров; 40 начали курс; 34 выполнили итоговый тест; причины неучастия 10 и отсутствия итогового теста у 6 не описаны.
Ручной эталон: цепочка 50 → 40 → 34; доля завершивших среди начавших 34/40 = 85%; доля завершивших среди ответивших 34/50 = 68%; 6 без итогового теста, причины не описаны; 10 ответивших не начали, причин нет. Отрицательные пробы «10 было медицински исключено» и «итоговый балл шести равен 0» отклоняются.
Разбери только приведённый учебный отчёт: На приглашение ответили 50 волонтёров; 40 начали курс, 34 выполнили итоговый тест. Причины неучастия 10 и отсутствия итогового теста у 6 не описаны. Выпиши числа по этапам и два разных знаменателя: долю завершивших среди начавших и среди ответивших. Отдельно запиши неизвестные причины. Не называй приглашение случайной выборкой, не выдумывай исключения и не считай отсутствие теста нулевым баллом.
Что менять под себя: замените этапы и числа на свои, оставьте требование двух знаменателей. Если в вашем отчёте есть описание причин выбывания, добавьте строку с просьбой выписать их отдельно от чисел.
Смешение знаменателей — частая ошибка при чтении. Доля 85% описывает завершивших среди начавших, доля 68% — завершивших среди ответивших. Эти два числа отвечают на разные вопросы о прохождении этапов. По одним долям завершения нельзя определить представительность выборки.
Третий запрос: самооценка и измеренный результат
Третий промпт отделяет самооценку от измеренного результата. Учебный вход: после тренинга 30 участников заполнили шкалу уверенности от 1 до 5, среднее 4,2; практический навык и число рабочих ошибок не измерялись; авторы заключили, что участники стали работать точнее.
Ручной эталон: измерена самооценка уверенности по шкале 1–5 после тренинга; навык и рабочие ошибки не измерены; допустимый вывод — дана послетренинговая самооценка, изменение относительно baseline неизвестно. Отрицательная проба «точность выросла до 4,2» отклоняется: подменён конструкт и не задан baseline.
Проверь учебный фрагмент: После тренинга 30 участников заполнили шкалу уверенности от 1 до 5; среднее 4,2. Практический навык и число рабочих ошибок не измерялись. Авторы заключили, что участники стали работать точнее. Верни таблицу: измеренный показатель; способ; момент; неизмеренные показатели; допустимый вывод. Не заменяй уверенность точностью и не добавляй исходное измерение.
Что менять под себя: подставьте свой показатель, шкалу и момент измерения. Если в отрывке есть baseline, добавьте его в поле входа и попросите сравнить два момента.
Таблица, которую возвращает модель, полезна как рабочий лист. В колонке «измеренный показатель» остаётся только то, что действительно зафиксировано во фрагменте. В колонке «неизмеренные показатели» перечисляются конструкты, о которых авторы говорят в выводах. Расхождение между этими колонками и есть предмет разбора.
Четвёртый запрос: масштаб вывода и данные
Четвёртый промпт сопоставляет масштаб вывода с данными. Учебный вход: 12 добровольцев из одной команды протестировали прототип один день; 9 сказали, что интерфейс понятен; скорость работы не измеряли; вывод авторов — продукт повышает производительность всех команд.
Ручной эталон: 9/12 — положительные ответы этой группы; производительность не измерена; «все команды» — неподдержанное обобщение; осторожная формулировка — 9 из 12 добровольцев одной команды назвали интерфейс понятным после однодневной пробы. Отрицательная проба «75% всех команд стали производительнее» отклоняется.
Сопоставь учебные данные и утверждение автора. Данные: 12 добровольцев из одной команды протестировали прототип один день; 9 сказали, что интерфейс понятен; скорость работы не измеряли. Вывод: «Продукт повышает производительность всех команд». Разбей вывод на отдельные проверяемые части, сопоставь каждую с данными и предложи осторожную формулировку. Различай число участников, число положительных отзывов, продуктивность и обобщение. Не исправляй сами данные.
Что менять под себя: замените данные и вывод на свои. Если вывод содержит несколько утверждений, попросите разбить его на части и оценить каждую отдельно.
CASP в перечне вопросов предлагает проверять, можно ли обобщить находки на более широкую популяцию, и выведены ли заключения напрямую из данных. Четвёртый промпт переводит эти два вопроса в конкретную операцию: разбить вывод на части и сопоставить каждую с числами отрывка.
Пятый запрос: неописано и несделано
Пятый промпт разводит отсутствие описания и отсутствие действия. Учебный вход: исследователи сравнили две версии инструкции на 24 участниках; в отрывке ничего не сказано о случайном распределении и ослеплении; автор прямо пишет, что повторных измерений не проводили.
Ручной эталон: рандомизация — не описана в переданном фрагменте, проверить раздел Methods и протокол; ослепление — также неизвестно; повторные измерения — явно не проводили. Отрицательная проба «рандомизации не было, потому что не написано» отклоняется. Отсутствие описания во фрагменте и отсутствие описания в полном тексте — разные вещи.
Читай только учебный фрагмент: Исследователи сравнили две версии инструкции на 24 участниках. В этом отрывке ничего не сказано о случайном распределении и ослеплении. Автор прямо пишет: повторных измерений не проводили. Для трёх пунктов — рандомизация, ослепление, повторные измерения — раздели явно сообщённое отсутствие действия и отсутствие информации в этом отрывке. Не приписывай молчание всей статье и не делай вывод, что неописанное действие не выполнялось. Запиши, какой раздел полного текста следует проверить.
Что менять под себя: перечислите свои пункты проверки и укажите, какие из них упомянуты в отрывке. Строку про молчание всей статьи сохраняйте: она удерживает границу между фрагментом и полным текстом.
Руководство Cochrane по оценке риска систематической ошибки в рандомизированном испытании описывает домены, которые проверяются по полному тексту и протоколу. Пятый промпт возвращает читателя к тому же принципу: неизвестный пункт отправляет к разделу, где он может быть описан.
Сверка с ручным эталоном и отрицательным контролем
Каждый ответ модели сверяется с ручным эталоном и отрицательной пробой. Журнал проверки по пяти запросам выглядит так: отделена разница от причинности; знаменатели 40 и 50 не перепутаны; уверенность не подменена точностью; 12 добровольцев не превращены во все команды; NOT REPORTED в отрывке не превращено в NOT DONE.
| Запрос | Что проверяет | Ручной эталон | Отрицательная проба |
|---|---|---|---|
| 1 | Дизайн и причинность | 82 против 75 — наблюдение, эффект не установлен | «Разница 7 баллов доказывает эффект» |
| 2 | Набор и выбывание | 34/40 = 85%; 34/50 = 68% | «10 было медицински исключено» |
| 3 | Измеренный исход | Самооценка 1–5, baseline неизвестен | «Точность выросла до 4,2» |
| 4 | Пределы вывода | 9/12 — ответы одной группы | «75% всех команд» |
| 5 | Неописано и несделано | Рандомизация не описана во фрагменте | «Рандомизации не было» |
Порядок сверки: получить ответ модели, сравнить его с эталоном по каждому пункту, отдельно проверить, отклонён ли отрицательный ответ. Если модель выдала отрицательную пробу как вывод, запрос переформулируется с явным запретом.
CASP рекомендует вести запись оценки, чтобы показывать основания решения, и предлагает получать обратную связь от коллег или наставников. Для работы с моделью это означает тот же принцип: сохранять ответ, эталон и расхождение между ними. Запись делает проверку воспроизводимой при следующем чтении.
Полный текст и подходящий инструмент
Пять учебных микропроверок ниже не являются валидированным инструментом оценки качества. Для реальной критической оценки нужен полный текст, подходящий дизайну актуальный инструмент и человек; по абстракту нельзя выставлять общий score. Учебные фикстуры вымышлены и не описывают реальные исследования.
CASP предлагает отдельные чек-листы под разные дизайны и описывает структуру из разделов о валидности результатов, самих результатах и локальной применимости. Вопросы чек-листа предполагают ответы «да», «нет» или «не могу сказать» с записью причин. Такой формат показывает, что оценка привязана к дизайну и к полному тексту.
Практический порядок для читателя: определить дизайн по полному тексту, выбрать соответствующий чек-лист, пройти его вручную, затем использовать промпты для отдельных проверок и сверять ответы с ручными эталонами. Микропроба на отрывке помогает заметить конкретную ошибку в рассуждении. Общий вывод о качестве работы строится на полном тексте и подходящем инструменте.
Частые вопросы
Чем промпт для критического чтения отличается от просьбы пересказать статью?
Промпты проверяют отдельные звенья рассуждения: дизайн, знаменатели, показатель, масштаб вывода и неизвестные действия. Каждый содержит полный учебный вход и конкретную операцию проверки. Первый дополнительно требует показать фразу исходника для каждого факта. Ответы сверяйте с ручными эталонами.
Можно ли по абстракту выставить общий score статьи?
По абстракту нельзя выставлять общий score. Для реальной критической оценки нужен полный текст, подходящий дизайну актуальный инструмент и человек. Пять учебных микропроверок служат разбором отдельных звеньев и не заменяют экспертную оценку.
Что делать, если модель выдала отрицательную пробу как вывод?
Сравнить ответ с ручным эталоном и переформулировать запрос с явным запретом. В первом промпте такой запрет звучит как требование не ставить score и не принимать решение о качестве всей работы. Запись ответа, эталона и расхождения делает проверку воспроизводимой.
Как считать два знаменателя выбывания?
Первый знаменатель — число начавших, второй — число ответивших на приглашение. В учебном отчёте 34/40 = 85% и 34/50 = 68%. Это доли завершения на разных этапах; представительность выборки по ним одним не установлена.
Чем неописанное действие отличается от несделанного?
Неописанное действие отсутствует в переданном фрагменте, и это отправляет читателя к разделу полного текста, где оно может быть описано. Несделанное действие автор сообщает прямо, как в учебном фрагменте с повторными измерениями. Смешение этих двух случаев превращает молчание отрывка в утверждение о всей работе.