Создание приложений на основе LLM: на примере работы в Budibase

Что такое приложения на базе больших языковых моделей (LLM)?

Любое приложение или программа, в которую добавили искусственный интеллект (ИИ) — и есть LLM-приложение. Искусственный интеллект может отвечать за одну маленькую функцию или быть основой всей программы. Например, можно встроить ИИ в уже существующее приложение, чтобы оно выполняло конкретную задачу. А можно создать что-то полностью сфокусированное на ИИ — вроде чат-ботов.

Главная цель — сделать повседневные рабочие процессы проще и эффективнее с помощью умных технологий.

Как правило, такие приложения обращаются к внешним моделям ИИ. Они могут быть облачными сервисами или работать локально на компьютере. Разработчикам обычно не нужно создавать искусственный интеллект с нуля. Гораздо важнее уметь работать с уже существующими ИИ-сервисами и правильно встраивать их в разные части приложения.

ОНЛАЙН-ПРАКТИКУМ

ЗАПУСК DEEPSEEK R1 ЛОКАЛЬНО НА СВОЕМ КОМПЬЮТЕРЕ

ЧТО БУДЕТ НА ОБУЧЕНИИ?

• ПОКАЖЕМ, КАК РАЗВЕРНУТЬ МОДЕЛЬ DEEPSEEK R1 ПРЯМО НА СВОЁМ КОМПЬЮТЕРЕ
• Где и как применять? Потестируем модель после установки на разных задачах
• Как дообучить модель под себя?

Участвовать бесплатно

Какими бывают ИИ-приложения?

ИИ-приложения различаются и по задачам, которые выполняют, и по технологиям, на которых основаны. Можно выделить несколько основных категорий, с которыми мы сталкиваемся чаще всего.

1. ИИ для выполнения конкретных задач Многие инструменты используют ИИ для решения отдельных, четко определенных задач в рамках привычных нам процессов. Например, приложение может использовать функцию на базе LLM вместо заранее прописанной логики. Проще говоря, это когда ИИ помогает выполнять определенные шаги в процессах, которые в остальном работают по строго заданным правилам.
2. Приложения для работы с текстом Большая часть ИИ-приложений связана с обработкой естественного языка — то есть нашего с вами. Здесь тоже есть свои уровни сложности. С одной стороны, существуют инструменты для простых задач: извлечь нужные данные из текста, перевести его с одного языка на другой. С другой — есть и более сложные решения: чат-боты, виртуальные ассистенты или инструменты, которые генерируют программный код.
3. ИИ-агенты — новый уровень технологий В последнее время все больше внимания уделяется так называемым ИИ-агентам. Это системы на базе LLM, которые могут самостоятельно рассуждать и действовать. Они отлично подходят для задач, где нет четкого, заранее определенного сценария.
4. Мониторинг и анализ данных Многие LLM-приложения созданы для того, чтобы следить за данными и анализировать их, часто без участия человека. Например, это системы, которые в реальном времени находят аномалии в данных или делают прогнозы на будущее.

Где это используется на практике?

Давайте посмотрим, с какими задачами работают LLM-приложения. Особенно это будет полезно для внутренних процессов в компаниях.

Одно из ключевых направлений — это внутренние сервисы, такие как отдел кадров (HR) и управление IT-услугами (ITSM). Здесь используются ИИ-порталы самообслуживания, умные чат-боты и агентские системы могут брать на себя рутинные задачи, которые раньше выполняли люди.

Это может работать по-разному. Иногда ИИ встраивают в существующие процессы для выполнения конкретных функций. А иногда создают «агентов», которые полностью заменяют определенные роли — например, первую линию поддержки. Похожие технологии, конечно, используются и для работы с клиентами.

Кроме того, ИИ-приложения отлично справляются с множеством административных задач, среди которых:

• Извлечение данных
• Обработка документов
• Перевод текстов
• Категоризация информации
• Генерация ответов
• Автоматизация согласований
• Умная маршрутизация запросов
• Сортировка задач и обращений
• Мониторинг и прогнозирование
• Динамическая автоматизация процессов

Плюсы и минусы

Теперь, когда мы знаем, на что способны LLM-приложения, важно понять их преимущества и недостатки. Что мы выигрываем, внедряя ИИ, и с какими трудностями можем столкнуться?

Преимущества:

1. Больше возможностей для автоматизации. ИИ справляется с задачами, которые были не под силу традиционным инструментам.
2. Меньше «жесткого» кода. Логику можно задавать с помощью обычных текстовых запросов, а не писать длинные скрипты.
3. Эффективность. Процессы становятся дешевле, так как требуют меньше человеческого участия.
4. Улучшенный пользовательский опыт. Общение с программами становится более естественным и «человечным».
5. Более качественные решения. ИИ предоставляет данные и инструменты, которые помогают принимать взвешенные решения.
6. Быстрое решение вопросов. Ответы на стандартные запросы можно получать гораздо быстрее, чем при обращении к человеку.
7. Масштабируемость. Процессы легко менять, просто изменив текстовый запрос, а не переписывая код.
8. Постоянное улучшение. Некоторые ИИ-приложения запоминают предыдущие действия и используют этот опыт в будущем.
9. Работа с неструктурированными данными. ИИ понимает естественный язык, а значит, пользователи могут описывать свои проблемы своими словами, а не заполнять строгие формы.

Возможные трудности

В то же время важно понимать, что ИИ — не волшебная палочка. Иногда лучше использовать старые добрые скрипты или доверить задачу человеку. Вот с какими проблемами можно столкнуться:

1. Высокие требования к ресурсам. ИИ-инструменты могут требовать значительных вычислительных мощностей.
2. Постоянные расходы. Если вы используете внешние ИИ-сервисы, за них придется платить.
3. Непрозрачность. Иногда бывает трудно понять, что именно делает система на базе LLM и почему она принимает те или иные решения.
4. Надежность. Из-за особенностей работы ИИ нет гарантии, что на одинаковые запросы вы всегда будете получать одинаковые результаты.
5. Безопасность. Нужно тщательно продумать, к каким данным и инструментам вы даете доступ моделям ИИ.
6. Технические сложности. Внедрение LLM-систем — это уникальный вызов, особенно в части интеграции и контроля доступа.
7. Нехватка специалистов. Для работы с такими системами могут потребоваться особые знания и навыки.
8. Сопротивление изменениям. Коллеги, пользователи и даже руководство могут настороженно отнестись к новым технологиям.
9. Сложность выбора. Технологии ИИ развиваются так быстро, что многим компаниям трудно выбрать подходящую платформу и окупить вложения.

Как искусственный интеллект помогает в работе: пример платформы Budibase

Давайте на конкретном примере посмотрим, как ИИ может упростить жизнь разработчикам и IT-командам. Для этого заглянем «под капот» платформы Budibase.

Если коротко, Budibase — это платформа, которая помогает превращать сухие данные в полезные рабочие инструменты. Она экономит время благодаря готовым решениям: здесь и автоматически создаваемые интерфейсы, и простая настройка автоматизации, и гибкое управление доступом для сотрудников.

Но самое интересное — это встроенные возможности на базе ИИ. Budibase использует как собственные разработки, так и технологии от OpenAI и Azure, чтобы сделать создание внутренних инструментов еще проще, быстрее и безопаснее.

Давайте разберем одну из самых удобных функций — ИИ-помощник прямо в конструкторе.

Представим ситуацию: вам нужно создать новое приложение. Например, для учета заявок на обслуживание компьютерной техники. Обычно для этого пришлось бы вручную создавать базу данных, продумывать все таблицы, поля и связи между ними.

С Budibase все гораздо проще. Вы можете просто написать ассистенту на обычном языке: «Мне нужна таблица для управления заявками на обслуживание IT-активов».

ИИ проанализирует ваш запрос и сам создаст подходящую структуру базы данных. Более того, он даже заполнит ее тестовыми данными, чтобы вы сразу могли увидеть, как все будет выглядеть и работать. Это невероятно ускоряет и упрощает решение рутинных задач.

Кроме того, Budibase предлагает генерацию кода на основе ИИ в рамках JavaScript-привязок по всему конструктору.

Допустим, вам нужно получить в коде дату и время следующего понедельника, 9 утра. Вы просто пишете это словами, а ИИ-помощник сам сгенерирует нужный код.

Умные таблицы: как ИИ помогает обрабатывать данные

Еще одна интересная возможность Budibase — это так называемые «умные» колонки с искусственным интеллектом (AI Columns). Это простой способ выполнять самые разные задачи с помощью LLM прямо внутри ваших таблиц.

Как это работает? Вы можете добавить такую «умную» колонку в любую таблицу вашей внутренней базы данных. После этого можно выбрать одну из готовых команд для обработки текста: например, проанализировать тональность сообщения (позитивное оно или негативное), перевести текст на другой язык, присвоить ему категорию, сделать краткую выжимку и многое другое.

Если же стандартных функций не хватает, вы можете написать собственную команду на естественном языке, чтобы ИИ выполнял уникальные, специфические для вашей задачи действия с данными.

Давайте рассмотрим на простом примере. Ниже вы видите таблицу, в которой хранятся заявки в IT-отдел.

Мы добавим к этому столбец AI, назовем его Category и выберем Categorise Text в качестве операции.

Мы также можем выбрать, какие столбцы мы хотим, чтобы наш LLM анализировал для категоризации наших строк. Мы выбираем Title и Description.

Затем нам просто нужно ввести возможные категории. Мы выбираем Hardware, Software, Network, Security и Other.

Теперь, когда пользователь отправляет новый запрос, наша колонка с ИИ автоматически классифицирует текст.

Аналогичным образом мы можем добавить вторую колонку AI, которую назовем Translation, выбрав в качестве операции Translate.

Затем мы введем английский язык в качестве нашего языка и выберем Description в поле Column.

Теперь мы можем проверить это, добавив строку на другом языке. Когда мы это делаем, мы видим, что наше поле Description было автоматически переведено на английский язык.

Автоматизация на новом уровне: подключаем искусственный интеллект

Помимо умных таблиц, искусственный интеллект в Budibase по-настоящему раскрывает свои суперспособности в разделе «Автоматизация». Именно здесь вы можете создавать умные рабочие процессы и бизнес-правила, которые будут работать сами по себе.

В вашем распоряжении — специальные блоки для самых разных действий: перевод, сортировка по категориям, написание текстов, извлечение данных из документов или выполнение ваших собственных, уникальных команд.

Чтобы было понятнее, давайте вернемся к нашему примеру с таблицей заявок в IT-отдел.

На этот раз наша задача — настроить правило, которое будет автоматически создавать и отправлять ответ на заявки с низким приоритетом. Для начала мы зададим условие, при котором будет запускаться наш процесс. В нашем случае это Row Created — то есть автоматизация сработает, как только в нашей таблице с заявками появится новая запись.

Добавим к этому фильтр, чтобы наше правило продолжало действовать только в том случае, если столбец Priority равен Low.

Когда мы нажимаем значок «+», чтобы добавить действие, мы видим ряд опций под подзаголовком «ИИ».

Мы добавим действие Generate Text. В разделе Content Type выбираем Email.

Нажимаем на значок молнии, чтобы открыть панель привязок.

Мы скажем ИИ, что он помощник службы технической поддержки, и попросим составить электронное письмо с предложениями по устранению неполадки и указанием соответствующих сроков. Будем использовать следующий запрос:

You are an IT service desk assistant. {{ trigger.row.Title }} {{ trigger.row.Description }} is a new ticket.

Please draft an email, suggesting troubleshooting steps and advising relevant timelines.

Затем мы проведем тест, используя строку, для которой мы знаем, что ее приоритет установлен на «Низкий».

В разделе Data Out для нашего действия Generate Text мы видим, что все сработало.

Наконец, мы можем добавить шаг Send Email, чтобы использовать наш ответ для уведомления пользователей о том, что их заявка была получена. В качестве альтернативы мы могли бы использовать HTTP-запрос для отправки этого сообщения на платформу мгновенного обмена сообщениями.

Все готово, вы великолепны!