FractalGPT MAS — это мультиагентная система (multi-agent system). То есть это сервис с искусственным интеллектом, в котором несколько ботов-агентов работают совместно.

Мультиагентные системы состоят из нескольких небольших «сущностей». Идея агентности подразумевает, что каждый компонент системы может выполнять определенные функции. Например, это может быть поиск, аналитическая система, система выгрузки и загрузки данных, или модель для предсказания бизнес-трендов. В бизнесе такие сложные многокомпонентные системы помогают проводить разнообразную аналитику.

Ключевая фишка в том, что использование мультиагентности позволяет быстрее, проще и дешевле создавать достаточно сложные продукты за счет того, что агенты «договариваются» друг с другом и способны самоорганизоваться. Получается такая существенная экономия времени и затрат на команду разработки.

Эта мысль не нова, она даже упоминается в научной фантастике, например, у Станислава Лема есть роман «Непобеди́мый», изданный в 1964 году на эту тему.

Преимущество мультиагентных систем

Создание продуктов обычно осуществляется усилиями разработчиков, которые оптимизируют бизнес-процессы путем проведения продуктовых экспериментов. Они выясняют, какая конфигурация параметров продукта наиболее эффективна. Обычно речь идет о балансе между качеством, скоростью и стоимостью. Например, высококачественный продукт может быть слишком дорогим, что делает его непривлекательным для бизнеса.

Современные технологии и популярные нейросети, такие как GPT-4, предлагают мощные модели, которые могут быть полезны для бизнеса, но имеют высокую стоимость. Разработчикам приходится искать компромиссы между качеством и стоимостью, что может привести к перебору множества вариантов конфигураций. Это называется комбинаторным взрывом или проклятием размерности.

До недавнего времени большинство продуктов развивались таким образом: разработчики вручную проводили эксперименты, получая обратную связь от рынка. Однако сейчас технологии позволяют передавать часть аналитической работы программным сущностям, так называемым агентам. Агент — это программный компонент, обладающий целеполаганием, способный договариваться с другими агентами и выполнять определенные задачи. Эти агенты могут самоорганизоваться для решения задач пользователя.

Преимущество мультиагентных систем в том, что они могут значительно ускорить процесс проведения экспериментов. Агенты действуют как аналитики, проводят множество экспериментов за короткое время и находя оптимальные решения по параметрам качества, скорости и стоимости.

Пример — наш сервис для работы с документами

Примером может служить наш кейс с сервисом ответов по документам. Такие сервисы состоят из нескольких компонентов: один отвечает за чтение документа, другой — за понимание вопроса пользователя, третий — за деление документа на кусочки текста, так как большие документы не помещаются в контекст языковых моделей. Таким образом, агенты взаимодействуют, чтобы эффективно обрабатывать запросы и находить оптимальные решения для пользователя.

Чтобы правильно отвечать на запросы, необходимо учитывать, что структура документов различается в разных отраслях. Правовые документы имеют одну структуру, научные статьи — другую, новостные статьи — третью, а регламенты — четвертую.

В нашей системе около пяти компонентов, каждый из которых имеет 25-50 параметров, настроенных на основе нашего опыта. Мы не можем заранее настроить систему для всех типов документов, так как это слишком сложно и дорого. Если клиент загружает документы, для которых система не настроена, она может не работать должным образом.

Чтобы решить эту проблему, мы начали добавлять агентов в систему. Мы добавили агента, который определяет количество документов, необходимых для формирования полного ответа. Этот агент понимает тематику и структуру документов в разных отраслях, что позволяет формировать более точные и релевантные ответы.

Агент анализирует загруженные документы и определяет, сколько из них нужно для ответа, обычно от одного до трех. Внедрение агента улучшило качество ответов, учитывая особенности различных отраслей и оптимально подбирая документы для ответа.

Пример работы сервиса.

Таким образом, агентные системы автоматизируют аналитическую работу, ускоряя процесс экспериментов и повышая качество продуктовых решений.

Теперь у нас качество ответов по всем целевым аудиториям, для которых предназначен наш сервис, значительно улучшилось. Это происходит благодаря тому, что агент правильно определяет, сколько документов нужно для каждой тематики. Если бы он этого не делал, ответы были бы либо слишком короткими, либо неполными.

В документах, помимо текста, часто встречаются информационные врезки, ссылки, картинки, схемы, графики и прочее. Распознавание всех этих типов данных можно реализовать с помощью нейросетей, таких как GPT-4 Vision для изображений, но это дорого и требует много времени на обучение и настройку для точной работы, что важно для «критических отраслей».

Создание мультиагентной системы, состоящей из различных компонентов, может быть значительно дешевле. Она подбирает наиболее подходящего агента для каждой конкретной задачи, что позволяет эффективно решать задачи, не тратя ресурсы на универсальные, но дорогостоящие решения. Эта концепция напоминает работу людей, где каждый специалист выполняет свою узкую задачу лучше, чем универсальный работник.

Модель, которая решает математические задачи

У нас также есть демо продукта, демонстрирующее работу технологии на примере математических задач. Одна часть системы переписывает условия, другая синтезирует формулы, а третья — решает их.

Результат впечатляет: система демонстрирует 100% правильных решений на тестовом наборе задач на публичном датасете MultiArith. Это максимальный возможный результат, показывающий, что мультиагентные системы могут эффективно решать задачи, которые ранее выполнялись вручную.

Мультиагентная система также позволяет снизить вероятность галлюцинаций и ошибок, так как каждый агент специализируется на своей задаче, и их совместная работа обеспечивает более точное и надежное решение. Это особенно важно для точных отраслей, таких как медицина и строительство, где даже небольшие ошибки могут иметь серьезные последствия.

Использование мультиагентной системы позволяет снизить количество ошибок и улучшить качество решений, что делает ее привлекательной для применения в отраслях, где требуется высокая точность и надежность.

Если и вы задумываетесь о новых решениях в мире IT, приходите на наш бесплатный вебинар «IT-стартап на зерокоде». Мы расскажем, как происходит запуск стартапа в 2024 году и чем здесь поможет зерокодинг.

Будущее проекта

Наша система для ответов по документам уже продается, причем в основном ее покупают компании, использующие B2B. У нас нормальный цикл сделки, хотя и не очень быстрый. Многие компании просят обучение, и это хорошая возможность заработать дополнительно.

Количество пользователей мы не называем, потому что пользователи различаются по размеру своих платежей. Есть пользователи, которые платят небольшие суммы, около 10 000₽, а есть те, кто платит миллион. Это разнообразие пользователей важно для нашего продукта.

Мы планируем выходить на разные сегменты рынка, в настоящее время сосредоточены на таких секторах, как медицина и поддержка клиентов, где ошибки недопустимы. Также мы видим потенциал в государственном секторе, где много документов, требующих извлечения важной информации без искажений.

В целом, наш продукт имеет потенциал для решения сложных задач в различных отраслях, связанных с инженерией и производством, которые сейчас трудно реализовать с помощью языковых моделей. Поэтому мы продолжаем развивать FractalGPT и рассказывать о преимуществах мультиагентных систем.