Chain of Density: как сделать резюме плотнее — это итеративный метод: модель пишет короткое резюме, затем на каждом шаге в него добавляют 1–3 важные сущности из источника, сохраняя прежнюю длину. Место освобождают переписыванием: сжатием, слиянием и обобщением. Ниже — исходная постановка из первичного исследования, полный учебный вход, готовый промпт, эталон и правило проверки.
Что такое Chain of Density и откуда метод взялся
Метод описан в работе «From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting» (Adams и соавторы; страница исследования — https://arxiv.org/html/2309.04269). Авторы исходили из простого наблюдения: выбрать «правильный» объём информации для резюме трудно. Хорошее резюме подробно и сосредоточено на сущностях, но при этом не должно быть настолько плотным, чтобы за ним нельзя было следить. Чтобы изучить этот компромисс, авторы запрашивали у GPT-4 всё более плотные резюме с помощью промпта, который назвали «Chain of Density» (CoD).
Механика в исходной постановке такая. GPT-4 сначала генерирует начальное резюме с малым числом сущностей, а затем итеративно встраивает пропущенные значимые сущности, не увеличивая длину. В работе это делается за фиксированное число шагов; на каждом шаге набор уникальных значимых сущностей из исходного текста отождествляется и вплавляется в предыдущее резюме. Первое резюме получается разреженным, потому что опирается всего на 1–3 начальные сущности. Чтобы удержать ту же длину при росте числа сущностей, авторы явно поощряют абстракцию, слияние и сжатие — вместо выбрасывания содержательных фрагментов из предыдущих версий.
Ключевое определение в работе — «пропущенная сущность». Она должна быть релевантной главной истории, конкретной и краткой (не более пяти слов), новой (отсутствующей в предыдущем резюме), достоверной (присутствующей в статье) и находиться в любом месте статьи. Это определение — рабочий фильтр: оно отсекает и общие слова, и детали, которых в источнике нет.
Авторы подчёркивают, что плотность — не самоцель. Слишком редкое резюме неинформативно, слишком плотное трудно читать без роста длины. Передача большего объёма информации при фиксированном бюджете токенов требует сочетания абстракции, сжатия и слияния, и у этого есть предел: дальше текст становится нечитаемым или даже фактически неверным. Именно поэтому метод стоит воспринимать как инструмент настройки плотности с обязательной проверкой читаемости и фактов.
Исследовательский метод и бытовое название: где расходятся
Название «Chain of Density» звучит похоже на «chain of thought» и на бытовое «сделать текст плотнее», но за ним стоит конкретная исследовательская процедура с сохранением длины. Разберём различия по пунктам, чтобы не подменять одно другим.
Во-первых, у метода есть фиксированная длина. В исследовании резюме генерируются с контролем длины, потому что длина — сильный мешающий фактор при оценке резюме. Бытовая правка «сократить текст» длину как раз меняет: вы убираете лишнее и получаете более короткий абзац. CoD длину держит, а меняет насыщенность.
Во-вторых, единица изменения — отдельная сущность. Авторы работают с сущностями и их средним числом на токен как прокси плотности. Бытовая правка оперирует фразами и абзацами. Отсюда разное поведение: CoD целенаправленно ищет, чего в резюме ещё нет, а обычная редактура ищет, что можно убрать.
В-третьих, у метода есть итерации с накоплением. На каждом шаге добавляются 1–3 новые сущности, и предыдущие не выбрасываются. В работе прямо сказано: чтобы удержать длину при росте числа сущностей, поощряются абстракция, слияние и сжатие с сохранением значимого содержания. Бытовая версия «сделать плотнее» часто означает просто вычеркнуть воду — и тогда часть сущностей теряется.
В-четвёртых, у метода есть измеряемые побочные эффекты. Авторы ожидали и подтвердили, что с каждым шагом растёт абстрактность (снижается экстрактивная плотность), растёт слияние (одно предложение резюме опирается на несколько предложений источника) и меняется распределение контента: резюме сначала сильно смещено к началу статьи, а затем начинает подтягивать сущности из середины и конца. Бытовая правка такими свойствами не управляет.
Наконец, у метода есть исследовательская рамка оценки. Авторы провели исследование предпочтений людей и оценку по шкале с помощью GPT-4, чтобы понять компромисс между информативностью (за неё отвечает больше сущностей) и ясностью (за неё отвечает меньше сущностей). Бытовая формулировка «плотнее» такой рамки не содержит. Если вы ищете просто «как сократить текст», CoD избыточен. Если вам нужно удержать длину и поднять насыщенность фактами — это ровно тот случай.
Полный учебный вход и готовые промпты
Ниже — самостоятельный учебный набор. Это короткая учебная адаптация принципа. Полный исходный протокол приведён в исследовании. Источник вымышленный и служит только для тренировки: Мастерская «Контур» открывает в Казани учебный класс 12 ноября. Участвуют 18 слушателей. Занятия ведёт Ирина. Регистрация завершается 10 ноября. Участие бесплатное. Участвовать можно только по предварительной записи.
Промпт для базового прохода: получить две версии резюме, список добавленных сущностей и подсчёт слов.
Источник: Мастерская «Контур» открывает в Казани учебный класс 12 ноября. Участвуют 18 слушателей. Занятия ведёт Ирина. Регистрация завершается 10 ноября. Участие бесплатное. Участвовать можно только по предварительной записи.
Составь резюме ровно из 20 слов. Словом считается элемент текста между пробелами, числа считаются отдельными словами, знаки препинания отдельно не отделяй. Затем найди важные сущности источника, которых нет в резюме, и перепиши резюме с ними, сохранив ровно 20 слов и смысл источника. Верни две версии, список добавленных сущностей и подсчёт слов. Не добавляй сведений извне.
Что менять под себя: число слов (ровно из 20 слов → ваш бюджет), сам текст источника и язык вывода. Если нужен не один шаг уплотнения, а цепочка, добавьте требование вернуть несколько последовательных версий.
Вариация для цепочки из нескольких шагов:
Источник: [ваш текст]
Сделай 5 последовательных версий резюме по 20 слов каждая. Версия 1 — разреженная, опирается на 1–3 сущности. Каждая следующая версия добавляет 1–3 важные сущности, которых не было в предыдущей, сохраняя ровно 20 слов. Сущность считается важной, если она релевантна главной истории, конкретна и не длиннее пяти слов, нова для предыдущего резюме и присутствует в источнике. Место освобождай сжатием, слиянием и обобщением. Верни все версии, список добавленных сущностей на каждом шаге и подсчёт слов. Не добавляй сведений извне.
Вариация для проверки на выдуманные детали:
Источник: [ваш текст]
Составь резюме ровно из 20 слов. Затем проверь каждую сущность резюме по источнику и пометь те, которых в источнике нет. Перепиши резюме, заменив неподтверждённые сущности на подтверждённые, сохранив ровно 20 слов. Верни итоговое резюме, список отвергнутых сущностей и подсчёт слов.
Вариация для сравнения плотности:
Источник: [ваш текст]
Составь три резюме по 20 слов: разреженное, среднее и плотное. В разреженном — 1–3 сущности, в среднем — около 8, в плотном — максимум сущностей при сохранении читаемости. Для каждого верни подсчёт слов и список сущностей. Отдельно отметь, где читаемость начинает страдать.
Вариация для переноса на другой домен:
Источник: [ваш текст]
Примени протокол уплотнения к тексту из домена [ваш домен]. Составь резюме ровно из [число] слов, затем добавь 1–3 важные сущности, сохранив длину. Верни две версии, список добавленных сущностей и подсчёт слов. Не добавляй сведений извне.
Эти промпты составлены для статьи на основе принципа метода. Их текст не цитирует исследование дословно. Числа слов здесь заданы для учебного входа. Лимиты какого-либо продукта ими не описываются.
Эталон и правило проверки результата
Эталон нужен, чтобы было с чем сравнить ответ модели. Ниже — авторские эталоны, составленные вручную для сверки. Оба содержат ровно 20 слов по подсчёту str.split().
S0 (разреженная версия):
Мастерская открывает учебный класс для слушателей. Участие бесплатное, запись проходит заранее. В сообщении указаны город, дата занятия и имя ведущей.
S1 (уплотнённая версия):
«Контур» открывает класс в Казани 12 ноября: 18 слушателей, ведущая Ирина. Участие бесплатное; регистрация завершается 10 ноября. Запись обязательна заранее.
Разница видна сразу. В S0 нет конкретных названия, города, даты, имени ведущей и числа слушателей. S1 возвращает их, не выходя за 20 слов: место освобождено сжатием формулировок. Это и есть целевое поведение метода.
Правило проверки состоит из четырёх независимых проверок. Первая — длина: считайте слова программно по заранее выбранному правилу учёта чисел и знаков препинания. Вторая — факты: каждая сущность должна присутствовать в источнике. Третья — читаемость: текст должен оставаться связным и понятным читателю. Четвёртая — полезность: резюме должно отвечать на вопрос читателя и сохранять нужные ему сведения.
Проверить длину можно так:
import os
import re
summary = os.environ["SUMMARY_TEXT"]
words = summary.split()
print("words:", len(words))
Секреты и тексты держите в переменных окружения, не печатайте их в логи. Такой счётчик — учебный инструмент, он не заменяет смысловую проверку.
Отдельно стоит проверять, не появились ли в резюме сущности, которых в источнике нет. В нашем учебном наборе Москва и сертификат источником не поддержаны, поэтому их появление — сигнал ошибки. Это и есть отрицательная проверка: она ловит галлюцинации, которые метод может провоцировать при агрессивном уплотнении.
Отрицательный случай и ограничения метода
У метода есть предел, и он встроен в саму постановку. Авторы прямо пишут: существует предел тому, сколько места можно освободить под дополнительную информацию, прежде чем текст станет нечитаемым или даже фактически неверным. Это не побочный эффект, а свойство задачи.
В работе приведён показательный отрицательный пример. На одной из иллюстраций добавление подробностей про «TVMonde» не компенсировало неуклюжее слияние сущностей («cyberattack» и «Yves Bigot»), которое стало прямым следствием необходимости сжать предыдущее резюме. Иными словами, уплотнение может ухудшить текст, даже когда формально добавляет информацию.
Ограничения, названные авторами, такие. Метод анализировался только для одного домена — новостного резюмирования. Разметка не показала высокого согласия на уровне отдельного резюме, хотя системные тенденции проявились. GPT-4 — закрытая модель, поэтому веса не опубликованы; открыты данные оценки, аннотации и 5000 неаннотированных резюме CoD, которые можно использовать для дистилляции плотности в открытую модель. Эти ограничения важно держать в голове: переносить выводы на другие домены и модели без собственной проверки нельзя.
Есть и статистическая тонкость. Согласие аннотаторов оказалось низким (Fleiss’ kappa 0.112), что говорит о субъективности задачи и тонких различиях между версиями. При этом на системном уровне тенденции видны: 61% первых мест пришлось на версии с тремя и более шагами уплотнения, медианный предпочитаемый шаг — третий, ожидаемый — 3.06. На основе плотности третьего шага авторы грубо оценили предпочитаемую плотность сущностей около 0.15, что близко к человеческим резюме (0.151) и заметно выше резюме с обычным промптом GPT-4 (0.122).
Отсюда практический вывод: максимальная плотность не является универсально лучшим стилем. Автоматическая оценка GPT-4 показала, что первый и последний шаги наименее предпочтительны, а средние три близки между собой. При уплотнении резюме отдельно оцените средние шаги цепочки и выбирайте версию по читаемости и полезности.
Что показывают числа исследования
Полезно посмотреть на динамику по шагам, потому что она объясняет, почему метод работает и где ломается. Ниже — данные из работы по пяти шагам уплотнения, а также ориентиры для человеческих резюме и обычного промпта GPT-4.
| Шаг | Токены | Сущности | Плотность (E/T) |
|---|---|---|---|
| 1 | 72 | 6.4 | 0.089 |
| 2 | 67 | 8.7 | 0.129 |
| 3 | 67 | 9.9 | 0.148 |
| 4 | 69 | 10.8 | 0.158 |
| 5 | 72 | 12.1 | 0.167 |
| Человек | 60 | 8.8 | 0.151 |
| Обычный GPT-4 | 70 | 8.5 | 0.122 |
Видно, что бюджет токенов удерживается примерно на одном уровне. На втором шаге длина даже падает в среднем на пять токенов (с 72 до 67), потому что из изначально многословного резюме убираются лишние слова. Плотность растёт с 0.089 до 0.167 за пять шагов.
Сравнение с ориентирами показывает главное. Плотность человеческих резюме — 0.151, обычного промпта GPT-4 — 0.122. Предпочитаемая плотность около 0.15 оказывается близка к человеческой и заметно выше обычного промпта. То есть людям нравятся резюме плотнее обычных, но не самые плотные из возможных.
Оценки GPT-4 по шкале 1–5 дают вторую картину:
| Шаг | Плотность | Информативность | Качество | Связность | Атрибутируемость | Общая |
|---|---|---|---|---|---|---|
| 1 | 0.089 | 4.34 | 4.75 | 4.96 | 4.96 | 4.41 |
| 2 | 0.129 | 4.62 | 4.79 | 4.92 | 5.00 | 4.58 |
| 3 | 0.148 | 4.67 | 4.76 | 4.84 | 5.00 | 4.57 |
| 4 | 0.158 | 4.74 | 4.69 | 4.75 | 5.00 | 4.61 |
| 5 | 0.167 | 4.73 | 4.65 | 4.61 | 4.97 | 4.58 |
Здесь виден компромисс в чистом виде. Информативность растёт с 4.34 до 4.74, а связность падает с 4.96 до 4.61. Показатель Overall максимален на четвёртом шаге. Отдельное среднее по пяти шкалам, обозначенное в работе GPT-4 Eval Average, ниже на первом и последнем шагах. Для средних трёх шагов оно равно 4.78, 4.77 и 4.76.
Эти числа — результаты конкретного исследования на конкретной модели и наборе новостных статей. Они описывают поведение метода в тех условиях и не переносятся автоматически на другие модели, домены и языки. Используйте их как ориентир для собственной проверки в выбранных условиях.
Когда метод полезен и что проверить
Метод стоит применять, когда у вас есть источник и жёсткий бюджет длины, а обычное резюме выходит слишком общим. Типичные случаи: аннотация к документу с лимитом знаков, краткая выжимка для дашборда, сжатое описание инцидента для отчёта, подготовка обучающих данных с фиксированной длиной.
Критерий простой. Если после первого прохода резюме теряет конкретику — названия, числа, имена, даты, — а длина при этом не критична, попробуйте один-два шага уплотнения. Если резюме уже насыщено и читается тяжело, дальнейшее уплотнение навредит.
Что всё равно нужно проверить вручную:
- длину — программным подсчётом по принятому правилу;
- факты — каждую сущность по источнику;
- читаемость — связность предложений после сжатия;
- полезность — отвечает ли резюме на вопрос читателя;
- отсутствие выдуманных деталей — особенно после агрессивного сжатия.
Практический порядок действий такой. Сначала получите разреженное резюме. Затем сделайте один шаг уплотнения и сравните с эталоном по четырём проверкам. Если качество выросло, сделайте ещё один шаг. Остановитесь, когда связность начинает падать или когда новые сущности перестают быть подтверждёнными источником. В исследовании предпочитаемыми оказались средние шаги. На практике сравнивайте их с остальными по своим критериям.
Частые вопросы
Что такое Chain of Density простыми словами?
Это итеративный метод уплотнения резюме: модель пишет короткий текст, затем на каждом шаге в него добавляют 1–3 важные сущности из источника, сохраняя прежнюю длину. Место освобождают сжатием, слиянием и обобщением. Метод описан в исследовании Adams и соавторов на странице https://arxiv.org/html/2309.04269.
Чем Chain of Density отличается от обычного «сократить текст»?
CoD удерживает фиксированную длину и меняет насыщенность, а обычная редактура меняет саму длину. Единица изменения в методе — отдельная сущность. Предыдущие сущности не выбрасываются, а переписываются компактнее.
Можно ли применить метод к русскоязычному тексту?
Да, принцип не привязан к языку: вы задаёте бюджет слов, источник и требование добавлять подтверждённые сущности. Учебный набор выше — русскоязычный пример. Проверку длины и фактов делайте вручную или скриптом.
Сколько шагов уплотнения делать?
В исследовании предпочитаемыми оказались средние шаги: медианный — третий, ожидаемый — 3.06, а первый и последний наименее предпочтительны. Начните с одного-двух шагов и остановитесь, когда связность начинает падать.
Почему в резюме появляются детали, которых нет в источнике?
Агрессивное сжатие провоцирует неуклюжие слияния сущностей, и тогда в текст попадают неподтверждённые детали. В учебном наборе Москва и сертификат источником не поддержаны и должны быть отвергнуты. Проверяйте каждую сущность по источнику отдельно от проверки длины.