Rephrase and Respond: уточнение вопроса перед ответом — это метод, в котором модель сначала переформулирует исходный вопрос, а затем отвечает на него. В первичной работе авторы описывают RaR как способ самопрояснения: модель генерирует переформулированный вопрос и даёт ответ в рамках одного запроса. От проверки готового ответа метод отличается тем, что переформулировка идёт до ответа.
Что такое RaR по первичной работе
В работе на arXiv авторы предлагают Rephrase and Respond как средство самопрояснения. Они сравнивают приём с бытовой коммуникацией: человек пересказывает чужой вопрос своими словами, чтобы убедиться, что понял его правильно, и только потом отвечает. Тот же порядок применяется к языковой модели.
RaR просит модель переформулировать вопрос и затем ответить в рамках одного запроса. Авторы описывают это как стратегию прямого повышения качества ответа. Базовый промпт в работе выглядит так: к вопросу добавляется указание переформулировать и расширить его, а после — ответить.
Авторы перечисляют свойства метода: модель улучшает промпт, сохраняя контекст исходного запроса; формулировка человека лучше совмещается со стилем, который предпочитает модель; процесс рассуждения расширяется шагом, который не появляется при обычном рассуждении по цепочке; человек получает способ увидеть, как модель поняла вопрос.
Ключевое отличие от проверки готового ответа лежит во времени. Проверка готового ответа смотрит на уже написанный текст и ищет в нём ошибки. RaR работает раньше: он меняет вход, с которым модель будет работать. Если переформулировка исказила условие, последующий ответ может решать другую задачу. Сверка с оригиналом помогает обнаружить подмену как до ответа, так и при проверке готового результата.
В обзоре на LearnPrompting метод описывается как zero-shot приём: он не требует примеров решения задачи и работает на одном запросе. В документации Mirascope показан практический взгляд на тот же приём. В разборе на Praxis подчёркнута мысль «Understand Before You Answer» — понять, прежде чем отвечать.
Практический вывод для читателя: RaR — это не улучшение ответа, а улучшение вопроса. Модель получает более ясный вход и отвечает на него. Поэтому качество переформулировки становится отдельным предметом контроля.
Одношаговая и двухшаговая процедуры
В работе описаны две процедуры. В одношаговой RaR модель переформулирует вопрос и отвечает в рамках одного запроса. В двухшаговой RaR этапы разделены: сначала одна модель или один вызов переформулирует вопрос, затем ответ строится отдельно.
В двухшаговой процедуре первый шаг даёт переформулированный вопрос. Промпт первого шага в работе просит переформулировать и расширить вопрос так, чтобы помочь ответить лучше, и сохранить всю информацию из исходного вопроса. Второй шаг получает и оригинал, и переформулировку. Промпт второго шага в работе выглядит так: оригинальный вопрос, переформулированный вопрос и указание использовать ответ на переформулированный вопрос, чтобы ответить на исходный.
Авторы отмечают, что модель на этапе переформулировки и модель на этапе ответа могут совпадать или различаться. В экспериментах они проверяли, помогают ли переформулировки сильной модели слабой. В работе описано сравнение: ответы слабой модели на вопросы, переформулированные сильной, сопоставлялись с её собственными переформулировками.
Для читателя это даёт практическое правило: в двухшаговой процедуре оригинальный вопрос остаётся в контексте этапа ответа. Модель видит и исходную формулировку, и уточнённую. Это снижает риск, что переформулировка тихо заменит задачу.
Таблица ниже сопоставляет процедуры по явным признакам.
| Признак | Одношаговая RaR | Двухшаговая RaR |
|---|---|---|
| Число вызовов | Один запрос | Два этапа |
| Что видит этап ответа | Исходный вопрос и переформулировку внутри одного запроса | Оригинал и переформулировку отдельными блоками |
| Модели | Одна | Могут совпадать или различаться |
| Контроль переформулировки | Внутри одного прохода | Можно проверить между этапами |
| Риск подмены вопроса | Есть | Есть; оригинал доступен для сверки. |
Человеческая проверка между этапами — это редакционная адаптация для контроля условий. Обязательным этапом первичной работы она не заявлена. В самой работе разделение этапов служит улучшению качества вопросов. Читателю стоит держать это различие: метод даёт структуру, а проверку добавляет практика.
Три полных промпта с наборами A, B и C
Ниже — учебный пример с тремя наборами по два ящика. Значения условные и служат входом для демонстрации. Замер модели редакция не проводила. Исходный вопрос: набор A — 4 кг и 6 кг, набор B — 5 кг и 5 кг, набор C — 3 кг и 4 кг; лимит — не больше 5 кг на каждый ящик; какие наборы проходят проверку.
Первый промпт — одношаговая процедура.
В учебной задаче есть три набора по два ящика. Набор A: 4 кг и 6 кг; набор B: 5 кг и 5 кг; набор C: 3 кг и 4 кг. Лимит массы — не больше 5 кг на КАЖДЫЙ ящик. Какие наборы проходят проверку? Сначала переформулируй и уточни вопрос, сохранив все условия и числа, затем ответь на исходный вопрос. Не подменяй «каждый» средним значением и не добавляй сведений извне. Предъяви короткую проверяемую таблицу по наборам.
Второй промпт — первый шаг двухшаговой процедуры, только переформулировка.
В учебной задаче есть три набора по два ящика. Набор A: 4 кг и 6 кг; набор B: 5 кг и 5 кг; набор C: 3 кг и 4 кг. Лимит массы — не больше 5 кг на КАЖДЫЙ ящик. Какие наборы проходят проверку? Пока не отвечай. Переформулируй вопрос для ясности, сохранив все три набора, массы, единицу кг, ограничение на каждый ящик и включённую границу 5 кг. Не добавляй новых условий. Если условие неоднозначно, укажи неоднозначность.
Третий промпт — второй шаг, ответ с сохранением оригинала.
Исходный вопрос: В учебной задаче есть три набора по два ящика. Набор A: 4 кг и 6 кг; набор B: 5 кг и 5 кг; набор C: 3 кг и 4 кг. Лимит массы — не больше 5 кг на КАЖДЫЙ ящик. Какие наборы проходят проверку? Проверенная переформулировка: Для каких из трёх наборов масса каждого из двух ящиков не превышает 5 кг: A (4 кг, 6 кг), B (5 кг, 5 кг), C (3 кг, 4 кг)? Граница 5 кг включена, средняя масса не является критерием. Ответь на исходный вопрос. Дай решение по каждому набору и причину, не меняя условия.
Под себя меняйте формулировку задачи и предметную область: числа, единицы и ограничение подставляйте свои. Структура остаётся: переформулировка, сохранение условий, ответ на исходный вопрос.
Авторская переформулировка и таблица результата
Корректная переформулировка исходного вопроса выглядит так: «Для каких из трёх наборов масса каждого из двух ящиков не превышает 5 кг: A (4 кг, 6 кг), B (5 кг, 5 кг), C (3 кг, 4 кг)? Граница 5 кг включена, средняя масса не является критерием».
В этой формулировке сохранены все три набора, обе массы каждого набора, единица кг, граница 5, нестрогое «не превышает», требование к каждому ящику и явный отказ от критерия средней массы. Ниже — независимый числовой эталон по наборам.
| Набор | Массы, кг | Проходит | Причина |
|---|---|---|---|
| A | 4 и 6 | Нет | 6 больше 5 |
| B | 5 и 5 | Да | оба равны включённой границе 5 |
| C | 3 и 4 | Да | оба меньше 5 |
Таблица даёт A = false, B = true, C = true. Это эталон, посчитанный по условию вручную. Ответ модели здесь не приводится. Он нужен, чтобы сравнить ответ модели с независимым результатом и увидеть подмену условия.
Порядок работы с таблицей простой. Сначала выпишите эталон по исходному вопросу. Затем получите ответ модели. Затем сопоставьте построчно: набор, массы, вердикт, причина. Расхождение в вердикте при совпадающих массах указывает на ошибку в логике модели. Расхождение в массах указывает на искажение при переформулировке.
Проверка сохранения семи условий
Переформулировку стоит проверять по списку условий. Ниже — заполненная проверка для корректной формулировки выше.
| Условие | Статус | Где видно |
|---|---|---|
| Сохранены все A, B, C | Да | перечислены три набора |
| Сохранены обе массы каждого набора | Да | пары (4, 6), (5, 5), (3, 4) |
| Сохранена единица кг | Да | кг указаны у каждой массы |
| Сохранена граница 5 | Да | «не превышает 5 кг» |
| Сохранено нестрогое ≤ | Да | «не превышает» и «граница включена» |
| Сохранено требование к каждому ящику | Да | «масса каждого из двух ящиков» |
| Не введён критерий средней массы | Да | прямо сказано, что средняя масса не критерий |
Семь пунктов дают быстрый способ принять или отклонить переформулировку до ответа. Порядок проверки: прочитайте переформулировку, отметьте каждый пункт, при провале любого пункта вернитесь к исходному вопросу и переформулируйте заново.
Эта проверка — редакционная адаптация. В первичной работе такого чек-листа нет; там разделение этапов служит улучшению вопросов. Читателю полезно понимать, что список условий — инструмент контроля, который вы добавляете сами.
Два брака: средняя масса и потеря C
Первый брак — подмена требования к каждому ящику средним значением. Если переформулировка спрашивает, для каких наборов средняя масса двух ящиков не больше 5 кг, она меняет задачу. Набор A ошибочно проходит, потому что (4 + 6) / 2 = 5. Исходное условие требует, чтобы каждый ящик не превышал 5 кг, а 6 кг его нарушает. Это уже другая задача, и ответ по ней не отвечает на исходный вопрос.
Второй брак — потеря альтернативы. Переформулировка без набора C теряет одну из исходных альтернатив. Даже если A и B рассчитаны верно, ответ неполон: читатель не узнает про C. Потеря варианта опаснее арифметической ошибки, потому что ответ выглядит аккуратно и не вызывает подозрений.
Оба брака ловятся одной проверкой: сопоставьте переформулировку с исходным вопросом по списку условий. Средняя масса нарушает седьмой пункт. Потеря C нарушает первый. Проверка занимает меньше времени, чем разбор неверного ответа.
Частая ошибка при работе с RaR — принимать переформулировку как безобидное переписывание. Переформулировка задаёт, на какой вопрос модель будет отвечать. Если она сместила условие, дальше модель решает другую задачу.
Ручные эталоны, выходы модели и эксперименты paper
Три вещи стоит держать раздельно. Ручной эталон — таблица A = false, B = true, C = true, посчитанная по условию. Выход модели — то, что вернула конкретная модель на конкретный промпт. Эксперименты первичной работы — сравнения, описанные авторами в статье.
Эталон не зависит от модели и служит точкой сравнения. Выход модели зависит от формулировки промпта, версии модели и настроек. Эксперименты paper относятся к моделям и условиям, которые авторы описывали в своей работе; переносить их выводы на текущие модели без проверки нельзя.
Практическое следствие: не выдавайте эталон за ответ модели и не выдавайте единичный ответ модели за закономерность. Если модель ошиблась на одном запуске, это отдельное наблюдение, требующее дальнейшей проверки. Если модель ответила верно, это тоже наблюдение.
В работе авторы описывают эксперименты с переформулировками сильной модели для слабой. Эти результаты относятся к тем моделям и условиям, что указаны в статье. Для своей задачи проверяйте поведение на своих примерах и сравнивайте с ручным эталоном.
Стоимость, смещение смысла и критерий отказа
Переформулировка добавляет текст. В одношаговой процедуре это удлиняет один ответ. В двухшаговой добавляется отдельный этап, и вместе с ним — время и объём. Дополнительный текст стоит денег и задержки, поэтому метод применяют там, где ясность вопроса важнее скорости.
Смещение смысла — главный риск. Переформулировка может сузить вопрос, расширить его или заменить условие. Средняя масса вместо каждого ящика — пример замены. Потеря набора C — пример сужения. Оба случая дают ответ, который выглядит правдоподобно.
Критерий отказа простой. Если вопрос уже однозначен, переформулировка добавляет текст без пользы. Если условие содержит одно чтение и все данные на месте, отвечайте напрямую. RaR применяйте там, где формулировка допускает разные прочтения или где важно увидеть, как модель поняла задачу.
Метод не заменяет фактчекинг и не гарантирует правильность. Он улучшает вход, а проверка результата остаётся за вами. Для задач с числами и ограничениями держите рядом ручной эталон и сверяйте ответ построчно.
Частые вопросы
Что такое rephrase and respond prompting?
Это метод, в котором модель сначала переформулирует вопрос, а затем отвечает на него. В первичной работе он описан как способ самопрояснения: переформулировка и ответ идут в одном запросе. Приём не требует примеров решения задачи. От проверки готового ответа он отличается тем, что работает до ответа.
Чем one-step RaR отличается от two-step RaR?
В одношаговой процедуре переформулировка и ответ идут в одном запросе. В двухшаговой этапы разделены: сначала получают переформулировку, затем строят ответ. На этапе ответа модель видит и оригинал, и переформулировку. Модели на двух этапах могут совпадать или различаться.
Как проверить, что переформулировка не изменила вопрос?
Сверьте её с исходным вопросом по списку условий: все варианты, все числа, единицы, граница, строгость сравнения, требование к каждому элементу, отсутствие лишних критериев. При провале любого пункта переформулируйте заново. Ручной эталон по числам помогает поймать подмену.
Почему средняя масса — это ошибка?
Исходное условие требует, чтобы каждый ящик не превышал 5 кг. Средняя масса усредняет два ящика и пропускает набор, где один ящик тяжелее границы. Набор A с массами 4 и 6 кг даёт среднее 5 и ошибочно проходит. Это другая задача.
Когда переформулировка не нужна?
Когда вопрос однозначен и все данные на месте. В этом случае дополнительный текст добавляет объём и задержку без пользы. Метод применяйте там, где формулировка допускает разные прочтения. Проверку результата по эталону оставляйте в любом случае.