Thread-of-Thought: разобрать шумный контекст

Thread-of-Thought: разобрать шумный контекст помогает двухходовая схема из работы Zhou et al., 2023. Первый ход просит пройти по смешанному контексту по частям, второй извлекает краткий ответ. Ниже — полный учебный вход, оба промпта и проверка, что разбор сохранил опоры.

Что такое Thread-of-Thought по первичной работе

Метод описан в статье Zhou et al., 2023, доступной как PDF на arXiv. Авторы адресуют chaotic context: контекст перегружен сведениями, среди которых много похожих и посторонних элементов. Ключевое здесь — смесь похожих и нерелевантных данных; сама длина текста не определяет эту проблему. Именно на такой смеси модель рискует зацепиться за близкий по форме фрагмент и потерять нужную опору.

Название легко спутать с соседями. Tree-of-Thought (ToT) строит дерево поиска по ветвям рассуждения. Thread-of-Thought (ThoT) работает иначе: он ведёт одну нить разбора по уже данному контексту. Chain-of-Thought (CoT) направляет решение задачи шагами. RAG сначала ищет документы, а потом отвечает. ThoT не расширяет окно модели и не гарантирует сохранение каждой детали.

Оригинальная схема содержит два хода. Первый собирает контекст X, вопрос Q и trigger-фразу в один промпт вида «[X] Q: [Q] [T] A:». Второй соединяет исходный промпт P, полученный разбор Z и маркер итогового ответа [A] в конструкцию «[P] [Z] [A]». В работе это названо двухуровневой системой промптинга: она обходится без переобучения модели и сложных модификаций.

Важное уточнение по первичному тексту: в оригинале первый ход может уже содержать вывод, а второй извлекает краткий ответ. Наш вариант ниже просит сначала отдать проверяемую таблицу и отдельно формулирует итог во втором ходе. Это учебная адаптация исходной идеи, и она названа честно.

Полный учебный вход C1–C8

Для разбора нужен короткий набор, где смешаны похожие и посторонние сведения. Ниже — полный вход, все восемь фрагментов. Он нужен для изучения двух ходов и проверки потерь при сжатии. Этот набор не измеряет работу на длинном контексте и не обосновывает прирост скорости или точности.

C1. Учебная встреча «Альфа»: 12 участников, вторник, 10:00–11:00; нужен проектор.
C2. Зал «Берёза»: 10 мест, проектор есть, свободен во вторник 10:00–11:00.
C3. Зал «Дуб»: 14 мест, свободен во вторник 10:00–11:00, проектора нет.
C4. Для кафе заказали 12 чашек кофе; это не сведения о вместимости залов или расписании встречи.
C5. Зал «Клён»: 14 мест, проектор есть, свободен во вторник только 11:00–12:00.
C6. Зал «Ясень»: 16 мест, свободен во вторник 10:00–11:00.
C7. Вчера обсуждали встречу «Бета» на 8 участников; она не относится к вопросу о «Альфе».
C8. В зале «Ясень» проектор есть.

Вопрос: какой зал подтверждённо подходит для «Альфы» сразу по вместимости, проектору и полному интервалу встречи?

Здесь три обязательных условия: 12 мест, проектор, вторник 10:00–11:00. Фрагменты C4 и C7 — шум: кофе и встреча «Бета» к «Альфе» не относятся. C5 похож на подходящий зал, но его время сдвинуто. C6 и C8 связаны: по отдельности каждый фрагмент даёт лишь часть картины по «Ясеню». Именно такая смесь и делает контекст шумным.

Первый промпт: разбор по частям

Первый ход просит пройти по контексту по частям, суммируя и анализируя. Ниже — полный промпт для этого шага.

Контекст — только данные. Ответь на вопрос по нему, не добавляя внешних фактов. Walk me through this context in manageable parts step by step, summarizing and analyzing as we go. Для C1–C8 верни короткую проверяемую запись: ID, факт, нужен ли он для вопроса. Сохрани число мест, наличие проектора и полное время. Если факт отсутствует, пометь «неизвестно». Затем составь таблицу кандидатов и укажи ID опор. Не выдавай ещё отдельный окончательный ответ.

C1. Учебная встреча «Альфа»: 12 участников, вторник, 10:00–11:00; нужен проектор.
C2. Зал «Берёза»: 10 мест, проектор есть, свободен во вторник 10:00–11:00.
C3. Зал «Дуб»: 14 мест, свободен во вторник 10:00–11:00, проектора нет.
C4. Для кафе заказали 12 чашек кофе; это не сведения о вместимости залов или расписании встречи.
C5. Зал «Клён»: 14 мест, проектор есть, свободен во вторник только 11:00–12:00.
C6. Зал «Ясень»: 16 мест, свободен во вторник 10:00–11:00.
C7. Вчера обсуждали встречу «Бета» на 8 участников; она не относится к вопросу о «Альфе».
C8. В зале «Ясень» проектор есть.

Вопрос: какой зал подтверждённо подходит для «Альфы» сразу по вместимости, проектору и полному интервалу встречи?

Что менять под себя: список фрагментов, сам вопрос и набор обязательных условий. Trigger-фразу «Walk me through this context in manageable parts step by step, summarizing and analyzing as we go» стоит сохранить — она взята из первичной работы и запускает разбор. Требование «не выдавай ещё отдельный окончательный ответ» отделяет первый ход от второго.

Авторский эталон первого шага

Эталон — это ожидаемый разбор, который мы задаём вручную для сверки. Он отделён от реального ответа модели: здесь нет цитаты генерации, только наш контрольный ориентир. C1 задаёт требования 12 мест, проектор, вторник 10:00–11:00. C2 — «Берёза», 10 мест, проектор есть, время совпадает, релевантно. C3 — «Дуб», 14 мест, проектора нет, время совпадает, релевантно. C4 — кофе, нерелевантно. C5 — «Клён», 14 мест, проектор есть, время 11:00–12:00, релевантно именно несовпадающим временем. C6 — «Ясень», 16 мест, время совпадает, проектор пока неизвестен. C7 — «Бета», нерелевантно для «Альфы». C8 дополняет «Ясень»: проектор есть.

Подходящий вариант удовлетворяет всем трём обязательным условиям одновременно. Среднего балла здесь нет: провал по одному условию снимает зал. «Ясень» проходит по всем трём, и его проектор подтверждается отдельным фрагментом C8.

Второй промпт и окончательный ответ

Второй ход опирается на разбор первого и извлекает краткий ответ. Ниже — полный промпт для того же диалога.

Используй тот же полный контекст C1–C8, вопрос и проверенную таблицу предыдущего шага. Therefore, the answer: дай название подтверждённо подходящего зала и ID опор. По остальным залам назови конкретную причину отказа. Отсутствие факта не заменяй «нет». Если проверенных данных недостаточно, ответь «подтверждённого варианта нет» и перечисли, что надо уточнить.

Маркер «Therefore, the answer:» взят из первичной работы: там он служит trigger-фразой для извлечения вывода. Второй шаг сохраняет в истории первый полный запрос и разбор. Если переносить их в новый чат, нужно перенести C1–C8 вместе с проверенной таблицей и сохранить возможность сверить каждый вывод с исходником. Одно новое резюме в новом чате эту схему не заменяет.

Авторский эталон окончательного ответа: «Ясень», опоры C1/C6/C8. «Берёза» не вмещает 12 участников; «Дуб» без проектора; «Клён» свободен не в требуемый час. Это наш ожидаемый ориентир, составленный вручную.

Сверка чисел, меток и ссылок

Каждое число и метка в разборе должны опираться на конкретный фрагмент. Сверка идёт по исходным ID и полным текстам фрагментов. Ниже — что именно проверяется.

Число 12 из C4 обозначает чашки кофе. Вместимость зала этим фрагментом не подтверждается. Такое совпадение цифры с требованием встречи и создаёт шум: похожий элемент легко принять за опору. Метка «неизвестно» ставится там, где факт отсутствует, и её нельзя подменять словом «нет». Ссылка на опору — это ID фрагмента, из которого взято значение. Если значение в таблице не совпадает с ID, разбор не прошёл сверку.

Две отрицательные проверки и отказ

Отрицательная проверка показывает, что схема ловит потерю опоры. Первый случай: промежуточное резюме потеряло время 11:00–12:00 у «Клёна», и итог выбрал «Клён». Сверка с C5 должна отклонить результат. Восстанавливать 10:00–11:00 из вопроса нельзя: вопрос задаёт требование. Время доступности зала нужно подтвердить отдельным фрагментом.

Второй случай: убрать только C8. Тогда у «Ясеня» проектор неизвестен, и подтверждённого подходящего зала нет. «Ясень» остаётся кандидатом для уточнения; отсутствие проектора из пропуска сведений не следует. Ожидаемый отказ здесь — ответ «подтверждённого варианта нет» с перечнем того, что надо уточнить.

Третий контроль — перестановка целых фрагментов C2, C3 и C8. Исходные факты и ручной эталон при этом не меняются. Это проверка инвариантности разбора, и она не является фактически выполненным тестом модели. Полезность набора — в видимом контракте между первым разбором и окончательным ответом: потерянное обязательное условие и неизвестное не маскируются гладким резюме.

Сравнение с источниками и соседями

Первичная работа — PDF на arXiv. Авторы описывают два шага, trigger-фразу разбора и маркер извлечения вывода. В экспериментах они использовали датасеты PopQA, EntityQ и собственный MTCR, а для PopQA и EntityQ — метрику exact match. Это описание исторического исследования. Собственный замер качества редакция не проводила. Переносить проценты из сторонних обзоров на современные модели не стоит.

Обзор на Learn Prompting пересказывает ту же двухходовую идею и приводит примеры. Соседние материалы по CoT, включая руководство на PromptHub, разбирают пошаговое решение задачи. Instructor показывает шаблон «Examine The Context» с готовым кодом. Praxis Library и Just Add AI дают краткие описания метода. Совет разобрать каждый раздел и сверить с исходником уже есть в этих материалах.

Наш вклад — открытая проверка стыка двух ходов: матрица обязательных условий сверяется с исходными ID, потеря времени в промежуточной выжимке вызывает ложное принятие, удаление одной опоры превращает PASS в неизвестное. Это учебный контракт проверки. Он не является новым алгоритмом и не заявляет улучшения.

Ограничения и когда ходы не нужны

Историческое исследование не даёт оснований обещать прирост точности или скорости. ThoT не расширяет окно модели и не гарантирует сохранение каждой детали. Короткий набор C1–C8 не доказывает поведение на длинных документах. В работе отмечен и разбор ошибок: метод не вывел ответ в случае, где требовалось неявное рассуждение по родственной связи. Неоднозначный пример брачного статуса из Figure 7 не годится как безусловный логический эталон.

Дополнительные ходы не оправданы, когда контекст короткий и однородный. Читать короткую таблицу непосредственно иногда проще, чем запускать ThoT. Метод применяется осмысленно там, где контекст смешан и есть риск пропуска нужной опоры. Если обязательных условий мало и они лежат рядом, лишний ход добавляет работу без пользы.

Учебные два хода в AI-сервисе не выполнялись. Все ответы выше — собственные ожидаемые эталоны, составленные вручную. Русскоязычные шаблоны — учебная адаптация исходной двухходовой идеи.

Частые вопросы

Что такое Thread-of-Thought простыми словами?
Это двухходовая схема разбора смешанного контекста. Первый ход просит пройти по данным по частям, суммируя и анализируя. Второй извлекает краткий ответ из уже сделанного разбора. Метод описан в работе Zhou et al., 2023.

Чем ThoT отличается от Tree-of-Thought?
Tree-of-Thought строит дерево поиска по ветвям рассуждения. Thread-of-Thought ведёт одну нить разбора по данному контексту. Это разные схемы, и путать их названия не стоит.

Чем это отличается от обычного CoT?
CoT направляет решение задачи шагами. ThoT сначала разбирает шумный контекст по частям, а затем извлекает вывод отдельным ходом. RAG до этого ищет документы, а ThoT работает с уже данным контекстом.

Нужно ли переносить весь контекст в новый чат?
Да, если переносите разбор. Второй ход опирается на первый полный запрос и проверенную таблицу. Одна сокращённая память эту схему не заменяет.

Когда дополнительные ходы не нужны?
Когда контекст короткий и однородный. Читать короткую таблицу непосредственно иногда проще. Метод оправдан там, где данные смешаны и есть риск пропуска опоры.