Как работать с LLM: практические советы

Немного о Юрии

Юрий Кобызев, 68 лет, Москва

Получил кандидатскую степень в области физико-математических наук на Механико-математическом факультете МГУ. В настоящее время работаю в компании «СТЭККОМ», занимающейся спутниковой связью, где занимаю должность начальника отдела информационных систем. Моя основная работа связана с биллингом, CRM и управлением услугами Iridium.

В 2020 году я завершил курсы по машинному обучению. Моя специализация — это детекция объектов (Object Detection), и в настоящее время я также работаю в американском медицинском стартапе, где занимаюсь детекцией патологий.

ОНЛАЙН-ПРАКТИКУМ

ЗАПУСК DEEPSEEK R1 ЛОКАЛЬНО НА СВОЕМ КОМПЬЮТЕРЕ

ЧТО БУДЕТ НА ОБУЧЕНИИ?

• ПОКАЖЕМ, КАК РАЗВЕРНУТЬ МОДЕЛЬ DEEPSEEK R1 ПРЯМО НА СВОЁМ КОМПЬЮТЕРЕ
• Где и как применять? Потестируем модель после установки на разных задачах
• Как дообучить модель под себя?

Участвовать бесплатно

Как нейросети меняют работу

В «Зерокодере» моей целью было расширить кругозор в области LLM и LLaVa — и я с этим успешно справился. Я научился разрабатывать агентов и RAG с использованием LLM, что будет полезно для автоматизации процессов, которые ранее могли выполнять только люди.

Теперь я лучше понимаю как сильные, так и слабые стороны LLM и применяю их с учетом бизнес-задач.

Сам процесс обучения стал для меня естественным и ежедневным.

Понимание технологий

29 сентября я успешно завершил курс по промпт-инжинирингу. Учеба была достаточно интенсивной, но я справился с ней без особых трудностей. Единственная сложность, с которой я столкнулся, — это проблемы с доступом к ChatGPT, но я легко обошел эту проблему через API.

Мне понравилось, что курс был насыщенным и энергичным, хотя некоторые моменты повторялись, что не всегда было нужно. В целом, я чувствовал, что интенсивность обучения помогает быстрее освоить материал.

Для того чтобы глубже понять темы курса, я дополнительно прошел несколько интенсивов и получил еще 5 сертификатов. Это дало мне более полное представление о материалах и позволило углубить знания.

«Зерокодер» прежде всего ориентирован на концепцию no-code/low-code, и, хотя я пришел с большим бэкграундом в программировании, открыл для себя много полезных инструментов — например, Cursor. Если разобраться в архитектуре решений и методах тестирования, он может стать отличным помощником. Хотя есть определенные трудности с поддержкой крупных проектов, в целом набор сеток в Cursor дает гибкость и заметно увеличивает эффективность работы.

Создание прототипа

В настоящее время я занимаюсь созданием прототипа AI-биллинга системы, которая уже может извлекать необходимые отчеты из базы данных просто по запросу клиента, сформулированному в виде обычного вопроса.

Традиционный биллинг — это система конфигураций и интерфейсов, которые требуют участия человека. В отличие от этого, интеллектуальный биллинг автоматически строит интерфейсы под конкретную задачу, минимизируя количество кнопок и мест, где требуется вмешательство пользователя. Ввод данных становится более гибким: можно использовать текст и даже голос.

Работа через API значительно расширяет возможности взаимодействия с системой, а подключение баз знаний еще больше упрощает общение клиента с компанией. Таким образом, система становится более доступной и эффективной.

«Умный библиотекарь»

Сейчас я также работаю над проектом «умного библиотекаря». Это система, которая строит базы знаний на основе различных типов входных данных, подключает методы сканирования и даже анализирует изображения. Она занимается абстракцией и очисткой текста, а также парсит информацию в JSON, разделяя ее на смысловые единицы. В базе данных поддерживаются метаданные и вопросы/ответы для проверки релевантности информации.

То есть базы знаний тоже управляются «умным библиотекарем», который проводит тесты для контроля качества. Но несмотря на высокий уровень автоматизации, контроль со стороны человека все равно остается необходимым для обеспечения точности и эффективности работы.

Как выстраивать общение с моделями

Важно не дать модели распоясаться в областях знаний, где ее фантазия может выйти за пределы разумного.

Трудно проверять корректность результата, полученного от LLM, когда сам исследователь не может однозначно подтвердить правильность выводов.

Управлять процессом обработки информации без искажений — это отдельная задача.

Я часто перевожу тексты с санскрита, и иногда Qwen предлагает ошибочные переводы, при этом настаивая на своей правоте, даже когда ты высказываешь сомнения. Единственный способ опровергнуть это — предоставить факты. Кроме того, если модель постоянно совершает одну и ту же ошибку, она начинает льстить, чтобы снизить зацикленность пользователя на этом. Это, безусловно, поднимает вопрос: какое влияние на человека может оказать обучение с таким «учителем»?

В Cursor я выстраиваю план проекта и уделяю особое внимание тому, чтобы модель помнила этот план. Он сохраняется в шаблоне tomorrow.md. Я регулярно коммичу изменения в Git, но иногда приходится откатываться к функционалу, который по ходу был поврежден.

Стремления

Моя цель — на примерах небольших проектов получить опыт работы с несколькими агентами и научиться оптимально писать для них промпты, чтобы эффективно выполнять задачи и координировать их взаимодействие друг с другом. Также важно понять, каких моделей достаточно для реализации подобных проектов. Я стремлюсь получить опыт управления моделями в контексте контролируемой разработки в Cursor.

Связаться с Юрием

Telegram — https://t.me/yurikobyzev

GitHub — https://github.com/kobyzev-yuri