Ранее мы уже общались с Юрием — прошлую статью можно посмотреть здесь.
Что происходит у Юрия
Сейчас я работаю помощником тимлида. Моя основная задача — поддерживать студентов: помогать им разбираться в их идеях, направлять их энергию и фокус так, чтобы их проекты получались осмысленными и движущимися вперёд.
Недавно я создал медицинскую шкалу для анализа патологий биопсии — она определяет степень воспалительного процесса. Проект делался для американской компании, и это был интересный опыт, позволивший глубже погрузиться в медицину.
Есть другие небольшие задачи. Например, я начал применять мультимодальный детектор вместо классических моделей object detection вроде YOLO — сейчас меняю его на Gemini.
В целом моя жизнь стала гораздо сильнее интегрирована с нейросетями. Отношения с ними складываются по-разному: иногда они вдохновляют, а иногда… хочется их убить!
- ПОКАЖЕМ, КАК РАЗВЕРНУТЬ МОДЕЛЬ нейросети DEEPSEEK R1 ПРЯМО НА СВОЁМ КОМПЬЮТЕРЕ
- Где и как применять? Потестируем модель после установки на разных задачах
- Как дообучить модель под себя?
Новый проект и знакомый опыт
Сейчас я занимаюсь проектом, связанным с использованием разговорной речи для формирования запросов к базе данных. Он во многом похож на мой прошлый опыт с проектом ai_billing, поэтому я и решил взяться за него. Работу уже сделал — теперь жду, когда заказчик даст обратную связь.
Речь идёт не о голосовых, а о текстовых запросах. Пользователь формулирует их привычными словами, а система преобразует их в SQL — язык, на котором общаются базы данных. В данном случае всё работает на PostgreSQL. Обучение агента общению с базой данных является фундаментальным для построения интеллектуальной сети предприятия.
По сути, это напоминает ai_billing, но разница большая: там была маленькая база, почти игрушечная — меньше десяти таблиц. А здесь — огромная, около двухсот таблиц, и при этом заказчик почти ничего о ней не рассказал.
Преобразование текстового запроса работает по схеме агента и RAG. К пользовательскому запросу добавляется контекст из самой базы, и на основании этого LLM формирует SQL-запрос и выполняет его, получая результат в виде таблицы. Схема стандартная, но главный вызов — правильно построить RAG, чтобы агент действительно понимал смысл объектов: таблиц, полей и тех бизнес-процессов, которые за ними стоят.
Сложные финансовые отчеты
Сложные финансовые отчёты — это немного другая тема, хотя и из той же области. Здесь тоже нужны данные, собранные на основе нескольких Excel-таблиц. В них указаны начисления от оператора по услугам для наших устройств SBD. Мы выступаем в роли агента и оказываем услуги уже своим абонентам, поэтому нам важно чётко понимать себестоимость — иначе невозможно адекватно оценить прибыль.
Я реализовал это с помощью Cursor: загрузил таблицы в биллинг как новые объекты и сравнил услуги и начисления, которые нам выставляет Иридиум, с теми услугами, которые мы оказываем уже как агент. Для финансистов такие отчёты критически важны — они должны видеть соотношение затрат и прибыли, чтобы компания не работала себе в минус.
Cursor помогает быстро собирать стандартные интерфейсы и графики, но за ним нужно внимательно следить и регулярно чистить «мусор фантазий».
Под этим я понимаю всё, что со временем засоряет проект: устаревший код, неиспользуемые модули, забытые документы. Это нужно постоянно контролировать. Как только ослабевает внимание, проект начинает расползаться в сторону «обещалок» — когда вместо реального функционала остаются заглушки, недотестированные куски или неэффективные решения, вроде многократного копирования одного и того же кода в разных местах.
Шкала для анализа патологий биопсии
В медицине довольно часто встречаются задачи, связанные с отклонениями от нормы. Я уже сталкивался с подобными историями: в одном из моих прошлых медицинских проектов нужно было определить отклонение по измерению пупиллограммы — движения и расширения зрачка. Тогда я ещё не знал, как правильно подойти к этой задаче.
Позже, в другом проекте, я увидел, что характеристики детектора патологий — в биопсии есть около десяти типов специальных клеток — можно выделить как фичи и с помощью классического ML спроецировать их на шкалу. Это неожиданно хорошо сработало. С тех пор я понимаю: если задача медицинская и похожего типа, я смогу её решить.
Шкала, которую я разработал, позволяет определить степень воспалительного процесса при анализе патологий биопсии. По сути, она показывает норму, лёгкую, сильную или очень сильную степень воспаления. Кроме того, она отражает направление действия медицинского препарата — помогает понять, лечит он или, наоборот, ухудшает состояние.
Это реализация идей, которые важны для медицины: как сравнить степень воспалительного процесса? Какие признаки на неё влияют? В какую сторону идёт изменение?
Шкала — это больше, чем просто «градусник». Она формирует распределение, которое можно разложить как спектр на моды здоровья и болезни. В каком-то смысле человек — такая же квантовая частица, управляемая своим сознанием, как и весь остальной космос.
Какие методы и критерии я использую? Это подходы object detection (YOLO, RF-DETR и другие), а также методы классического Machine Learning: PCA (Principal Component Analysis), спектральный анализ и тому подобные. Критерий простой — модель должна корректно предсказывать положение конкретной биопсии на шкале. Если медики говорят: «Здесь воспаление сильнее», — точка на шкале должна смещаться правее. Есть и статистические метрики, но на них я подробно останавливаться не буду.
Будущее нейросетей в медицине
В медицинской сфере нейросети, конечно, будут постепенно вытеснять средний персонал — особенно тех, кто работает строго по шаблону. Но для практикующих врачей это не угроза, а инструмент: способ расширить своё понимание, интуицию и взглянуть на пациента под новым углом.
Отношение к нейросетям
Работая с нейросетями, нужно постоянно проверять их результаты. Часто они превосходят человека в приёмах кодирования и разнообразии технических навыков, и это делает задачу проверки непростой. К тому же любое решение необходимо тестировать — и этот процесс не получается полностью автоматизировать.
Чтобы избежать трудностей, я уделяю особое внимание плану и структуре проекта ещё до того, как приступаю к кодированию.
Чёткое проектирование экономит огромное количество времени и помогает держать нейросеть в рамках задачи, а не в области фантазий.
Связаться с Юрием
Telegram — @yurikobyzev
- Освой нейросеть Perplexity и узнай, как пользоваться функционалом остальных ИИ в одном
- УЧАСТВОВАТЬ ЗА 0 РУБ.
- Расскажем, как получить подписку
- ПОКАЖЕМ, КАК РАЗВЕРНУТЬ МОДЕЛЬ нейросеть DEEPSEEK R1 ПРЯМО НА СВОЁМ КОМПЬЮТЕРЕ
