ИИ для тестов: QuestionWell, Conker и MagicSchool

ИИ для тестов: QuestionWell, Conker и MagicSchool закрывают разные участки работы преподавателя. QuestionWell заявляет создание, адаптацию и оценку материалов, Conker делает упор на готовые наборы и чтение вслух, MagicSchool генерирует вопросы из текста или темы с ключом ответов. Ниже — разбор по первичным страницам, учебный исходник с тремя вопросами и отдельным ключом, проверка дистракторов и порядок приёмки.

Генерация, проведение и анализ: три разные задачи

Смешение трёх этапов даёт главную ошибку в выборе инструмента. Генерация — это получение черновика вопросов из исходного материала. Проведение — это доставка теста ученику и фиксация ответов. Анализ — это интерпретация результатов и решение о следующем шаге. Инструменты закрывают эти этапы с разной полнотой, и первичные страницы показывают, где проходит граница.

QuestionWell на своей главной странице описывает себя словами «Create, adapt, and evaluate» — создание, адаптация и оценка. Там же указано, что вопросы строятся «from any topic or standard, built based on learning sciences», то есть из темы или стандарта с опорой на науки об обучении. Отдельная строка про «Research-aligned lenses annotate your materials surfacing» говорит о разметке материалов исследовательскими линзами. Этот этап охватывает генерацию и подготовку вопросов.

Conker на своей странице формулирует задачу иначе: «Make your own quiz or tailor existing ones to match student needs, and differentiate between groups of learners in your class». Здесь акцент на адаптации готовых наборов и дифференциации групп. Там же сказано про «1000s of ready-made, K12 standards-aligned assessments — starting with NGSS and TEKS», то есть библиотека готовых оцениваний, привязанных к стандартам K12. Проведение поддерживается чтением вслух: «All Conker quizzes offer integrated read-aloud for students who can benefit from accessibility support».

MagicSchool на странице инструмента multiple-choice quiz assessment описывает генерацию так: «Start with a text or topic and create questions connected directly to your lesson, complete with answer choices and an answer key». Вопросы связываются с уроком, ответы и ключ идут в комплекте. Настройка объёма и сложности вынесена в отдельный шаг: «Adjust the difficulty, number of questions, or areas of focus to create a version that fits each grade level or group of learners».

Практический вывод по этапам: генерацию берите там, где входной материал ближе к вашему уроку; проведение планируйте отдельно, потому что доставка ученику и фиксация ответов — самостоятельная задача; анализ результатов строите на своих критериях, поскольку автоматически созданные вопросы дают материал для проверки, а решение о знании ученика принимает преподаватель.

Таблица ниже сводит этапы и то, что заявлено на первичных страницах.

Разведение этапов снимает вопрос «какой инструмент лучший». Сначала определите, на каком этапе у вас узкое место, затем сопоставляйте заявленные возможности.

Сопоставление трёх инструментов по первичке

Сопоставление идёт по тому, что владельцы страниц пишут о своих продуктах. Первичные страницы описывают заявленные возможности. Для оценки качества сверьте результаты на своём учебном материале.

QuestionWell. Главная страница описывает продукт как набор инструментов для создания, адаптации и оценки. Вопросы строятся из темы или стандарта с опорой на науки об обучении. Материалы размечаются исследовательскими линзами, которые подсвечивают содержание. Экспорт заявлен широко: «Teachers can export to 22+ tools and formats, gradebook can sync with LTI and Clever, and plug our custom MCP into your AI system to keep its learning science up to date». Здесь три отдельных утверждения: экспорт в 22+ инструмента и формата, синхронизация журнала через LTI и Clever, подключение собственного MCP к вашей ИИ-системе. Каждое относится к QuestionWell и не переносится на другие продукты.

Conker. Страница описывает создание своих тестов и адаптацию существующих под нужды учеников, а также дифференциацию групп внутри класса. Библиотека готовых оцениваний привязана к стандартам K12, начиная с NGSS и TEKS, и доступна через бесплатный конструктор тестов. Все тесты Conker включают встроенное чтение вслух для учеников, которым нужна поддержка доступности. Экспорт заявлен в двух направлениях: «Export your Conker quizzes to Google Forms, or share them directly from the Canvas LMS».

MagicSchool. Страница инструмента описывает генерацию вопросов из текста или темы с привязкой к уроку, с вариантами ответов и ключом. Входом может быть вставленный текст, загруженный документ или описание того, что ученики прошли: «Yes. Paste in a reading, upload a document, or describe the content your students learned». Для настройки предлагается указать уровень класса и стандарты: «Share the text or topic you want to assess, along with your grade level and any standards you’d like to address». Сложность, число вопросов и области фокуса регулируются отдельно.

Сравнение по критериям показывает, что инструменты пересекаются на генерации и расходятся на доставке и библиотеке. Выбор начинается с вашего входа: тема и стандарт ведут к QuestionWell, готовые наборы и дифференциация — к Conker, вставленный текст урока — к MagicSchool.

Исходник, три вопроса и отдельный ключ

Учебный пример ниже — авторский эталон. Прогон перечисленных сервисов в примере не проводился. Все организации и статусы вымышлены и обозначены как учебные. Задача примера — показать, как выглядит исходник, вопросы и ключ, который хранится отдельно от ученической страницы.

Учебный регламент: черновик заявки сохраняется локально; на проверку её отправляют кнопкой «Передать»; только статус «Подтверждена» означает принятие; письмо с решением может прийти позже.

УЧЕБНЫЙ ИСХОДНИК (вымышленный регламент)
1. Черновик заявки сохраняется локально.
2. На проверку заявку отправляют кнопкой «Передать».
3. Принятие подтверждает только статус «Подтверждена».
4. Письмо с решением может прийти позже отправки.

ВОПРОС 1. Какое действие отправляет заявку на проверку?
A. «Сохранить»
B. «Передать»
C. «Открыть»
D. «Закрыть»

ВОПРОС 2. Что подтверждает принятие заявки?
A. Письмо может прийти позже
B. Статус «Подтверждена»
C. Наличие черновика
D. Открытая форма

ВОПРОС 3 (краткий ответ). Доказывает ли отсутствие письма,
что заявку отклонили?

КЛЮЧ (хранится отдельно от ученической страницы)
1 — B. Исходник: пункт 2.
2 — B. Исходник: пункт 3.
3 — Нет. Исходник допускает позднее письмо; статус
    необходимо проверить отдельно.

Промпт для генерации такого набора из исходного текста:

Сделай два вопроса с четырьмя вариантами и один короткий ответ.
Для каждого ключа приведи предложение исходника.
Объясни, какую конкретную ошибку проверяет неверный вариант.
Затем найди вопросы с двумя правильными ответами.

Разбор структуры. Первый вопрос проверяет различение черновика и отправки: вариант A «Сохранить» отражает путаницу между локальным сохранением и передачей на проверку. Во втором вопросе свидетельством принятия служит статус. Вариант A описывает свойство процесса и сам по себе не подтверждает принятие. Третий вопрос требует краткого ответа и проверяет понимание того, что отсутствие письма не равно отказу.

Ключ хранится отдельно от ученической страницы. Это организационное требование: если ключ лежит рядом с вопросами на одной странице, ученик видит ответы. Отдельный ключ позволяет выдать вопросы, а решения держать у себя.

Порядок действий при подготовке набора:

1. Возьмите исходный текст урока и выделите проверяемые утверждения.
2. Сформулируйте по каждому утверждению один вопрос с четырьмя вариантами.
3. Для каждого неверного варианта запишите, какую ошибку он проверяет.
4. Добавьте хотя бы один вопрос с кратким ответом.
5. Составьте ключ с указанием пункта исходника для каждого ответа.
6. Вынесите ключ на отдельный лист или в отдельный файл.

Такой порядок даёт проверяемую связку: каждый вопрос опирается на конкретное предложение исходника, а каждый дистрактор имеет объяснение.

Дистракторы и случай двух правильных ответов

Дистрактор — неверный вариант ответа. Его задача — различать учеников по конкретной ошибке. Если дистрактор не соответствует никакой ошибке, он не работает: ученик отбрасывает его случайно, и вопрос теряет различающую силу.

Отрицательная проба. Если добавить к первому вопросу вариант «Нажать кнопку Передать», появятся два одинаково верных ответа: и B «Передать», и новый вариант описывают одно действие. Вопрос бракуется. Это проверка на дублирование правильного ответа, и её стоит прогонять по каждому вопросу перед выдачей.

Порядок проверки дистракторов:

1. Выпишите правильный ответ и его обоснование из исходника.
2. Для каждого неверного варианта запишите ошибку, которую он проверяет.
3. Найдите варианты, которые можно счесть правильными при другом чтении.
4. Проверьте, нет ли двух вариантов с одинаковым смыслом.
5. Убедитесь, что правильный ответ не выделяется длиной или формулировкой.
6. Переформулируйте или уберите варианты, которые не различают ошибок.

Случай двух правильных ответов возникает по трём причинам. Первая — вопрос допускает два прочтения, и оба варианта верны при одном из них. Вторая — вариант сформулирован так, что покрывает правильный ответ по смыслу. Третья — исходник содержит два утверждения, и вопрос не указывает, какое именно проверяется.

Что делать при обнаружении. Сузьте формулировку вопроса до одного проверяемого утверждения. Если два варианта описывают одно действие, оставьте один. Если вариант верен при другом чтении, переформулируйте его так, чтобы он проверял конкретную ошибку. Если вопрос не удаётся свести к одному правильному ответу, уберите его из набора.

Промпт для поиска таких случаев:

Проверь каждый вопрос на два правильных ответа.
Для каждого варианта укажи, какое утверждение исходника
делает его верным или неверным.
Отдельно перечисли вопросы, где два варианта можно
счесть правильными, и предложи сужение формулировки.

Разбор ошибки в примере. Вопрос 1 с вариантом A «Сохранить» проверяет различение локального сохранения и отправки. Если добавить вариант «Нажать кнопку Передать», он совпадёт по смыслу с B, и вопрос перестанет различать. Вопрос 2 с вариантом A «Письмо может прийти позже» проверяет различение подтверждения и сопутствующего события: письмо относится к процессу, статус — к результату. Вопрос 3 не имеет дистракторов, потому что требует краткого ответа, и его проверка идёт по ключу.

Практическое правило: набор вопросов без объяснения дистракторов остаётся черновиком. Объяснение превращает его в инструмент, по которому видно, какие ошибки различает каждый вопрос.

Перенос и экспорт по официальным заявлениям

Экспорт проверяйте по заявлению владельца страницы. Ниже перечислено то, что подтверждено первичными страницами, с указанием продукта.

QuestionWell заявляет экспорт в 22+ инструмента и формата, синхронизацию журнала через LTI и Clever, а также подключение собственного MCP к вашей ИИ-системе. Формулировка на главной странице объединяет эти три возможности в одном предложении, и каждая относится к QuestionWell.

Conker заявляет два направления: экспорт в Google Forms и прямую публикацию из Canvas LMS. Формулировка: «Export your Conker quizzes to Google Forms, or share them directly from the Canvas LMS».

MagicSchool на странице инструмента описывает генерацию с ключом ответов, настройку сложности, числа вопросов и областей фокуса, а также вход в виде текста, документа или описания. Экспорт на этой странице не заявлен.

Порядок проверки переноса перед использованием:

1. Откройте страницу продукта и найдите раздел про экспорт.
2. Выпишите названные форматы и системы дословно.
3. Сверьте список с тем, что используете вы.
4. Проверьте, что переносится: вопросы, варианты, ключ.
5. Отдельно проверьте, сохраняется ли ключ отдельно от ученической страницы.
6. Если формат не назван на странице, планируйте ручной перенос.

Пункт про ключ важен при любом переносе. Экспорт в систему, где ученик видит все поля, может раскрыть ответы. Проверяйте, какие поля попадают в выгрузку и как они отображаются на стороне ученика.

Отдельно про MCP. QuestionWell заявляет возможность подключить собственный MCP к вашей ИИ-системе. Это утверждение относится к QuestionWell и описывает подключение к вашей системе. Настройку и совместимость проверяйте по документации продукта.

Преподавательская приёмка и условия выбора

Приёмка — это решение преподавателя о том, годится ли набор вопросов для выдачи. Автоматически созданные вопросы дают черновик, который проходит проверку по исходнику. Диагностику знаний по нескольким автоматически созданным вопросам строить не стоит: набор проверяет отдельные утверждения, и вывод о знании ученика выходит за его рамки.

Чек-лист приёмки:

1. Каждый вопрос опирается на конкретное предложение исходника.
2. Ключ составлен и хранится отдельно от ученической страницы.
3. Для каждого дистрактора записана проверяемая ошибка.
4. Проведена отрицательная проба на два правильных ответа.
5. Формулировки вопросов не подсказывают ответ длиной или строением.
6. Вопросы охватывают ключевые части материала урока.
7. Уровень класса и стандарты указаны при генерации.

Условия выбора инструмента по вашему входу и задаче:

Порядок собственного выбора:

1. Определите этап, на котором у вас узкое место.
2. Сопоставьте вход: тема, готовый набор или текст урока.
3. Проверьте заявленный экспорт в вашу систему.
4. Сгенерируйте пробный набор из своего материала.
5. Прогоните чек-лист приёмки по каждому вопросу.
6. Оставьте инструмент, который даёт проверяемый набор при вашем входе.

Оценка качества набора остаётся преподавательской. Инструмент ускоряет подготовку черновика, а решение о том, что вопрос проверяет нужное утверждение и различает нужную ошибку, принимает преподаватель по исходнику.

Частые вопросы

Чем QuestionWell отличается от Conker и MagicSchool?

QuestionWell на главной странице описывает создание, адаптацию и оценку материалов из темы или стандарта с опорой на науки об обучении. Conker делает упор на готовые наборы, привязанные к стандартам K12, и дифференциацию групп. MagicSchool на странице инструмента описывает генерацию вопросов из текста или темы с вариантами ответов и ключом.

Можно ли экспортировать тесты в Google Forms или Canvas?

Conker заявляет экспорт в Google Forms и прямую публикацию из Canvas LMS. QuestionWell заявляет экспорт в 22+ инструмента и формата, синхронизацию журнала через LTI и Clever и подключение собственного MCP. Для MagicSchool на странице инструмента экспорт не заявлен, поэтому перенос планируйте вручную.

Как проверить, что в вопросе один правильный ответ?

Выпишите обоснование правильного ответа из исходника и для каждого неверного варианта запишите проверяемую ошибку. Затем найдите варианты, которые можно счесть правильными при другом чтении. Отрицательная проба с добавлением второго верного варианта показывает дублирование: вопрос с двумя одинаково верными ответами бракуется.

Где хранить ключ ответов?

Ключ хранится отдельно от ученической страницы. Если ключ лежит рядом с вопросами, ученик видит ответы. Вынесите ключ на отдельный лист или в отдельный файл и указывайте для каждого ответа пункт исходника, на который он опирается.

Можно ли судить о знаниях ученика по автоматически созданным вопросам?

Набор автоматически созданных вопросов проверяет отдельные утверждения исходника и служит черновиком для приёмки. Вывод о знании ученика выходит за рамки такого набора. Решение о следующем шаге принимает преподаватель, опираясь на исходник и на то, какие ошибки различают вопросы.