Google AMIE: врач с искусственным интеллектом учится «видеть» медицинские изображения

Дисклеймер: искусственный интеллект не может полностью заменить медицинского специалиста. Поэтому если вам потребуется медицинская помощь, не полагайтесь на интернет и нейросети, а обязательно обратитесь к врачу.

Google развивает свой медицинский ИИ AMIE (Articulate Medical Intelligence Explorer), чтобы он мог не только «разговаривать», но и понимать визуальную информацию — например, фотографии сыпи или снимки ЭКГ.

Раньше AMIE уже показал хорошие результаты в текстовых медицинских чатах — об этом писали в журнале Nature. Но настоящая медицина — это не только слова. Врачи часто ставят диагнозы на основе того, что видят: внешний вид кожи, результаты анализов, показания приборов.

В Google справедливо отмечают: даже в обычных мессенджерах можно отправить фото или документ, чтобы пояснить, что именно происходит. Значит, и ИИ, который помогает в медицине, должен уметь работать с такими данными.

ИИ, который понимает только текст, пропускает важную часть информации. Теперь Google проверяет: сможет ли большая языковая модель (LLM) справляться с диагностикой, если добавить к словам изображения и документы?

Развитие таких систем — важный шаг в сторону более умного и полезного медицинского ИИ.

Google учит медицинский ИИ думать как врач и работать с изображениями

Инженеры Google продолжают развивать медицинскую нейросеть AMIE. Теперь она стала умнее — в нее встроили новую мощную модель Gemini 2.0 и научили «рассуждать по ходу диалога». Это значит, что ИИ больше не просто отвечает по шаблону, а умеет адаптировать разговор в зависимости от того, что уже узнал, и что еще нужно уточнить.

Принцип работы напоминает то, как думает настоящий врач. Сначала он собирает симптомы, строит догадки, а потом просит сдать анализы или показать, как выглядит сыпь, чтобы точнее поставить диагноз.

В Google объясняют: AMIE умеет запрашивать нужные изображения и документы, «понимать» их и использовать в разговоре, чтобы точнее определить, что с пациентом. Диалог может идти по шагам — сначала выясняются жалобы, потом идет диагностика, затем обсуждаются возможные варианты лечения и дальнейшие действия. Если ИИ чего-то не понимает, он сам запрашивает, например, фото или результаты анализов.

Чтобы тренировать AMIE без риска для реальных людей, Google создала специальную симуляцию. Там ИИ «разговаривает» с вымышленными пациентами, которые имеют правдоподобные симптомы, медицинские изображения и истории болезни. Все данные взяты из открытых медицинских баз — например, снимков кожи или ЭКГ.

Так Google проверяет, как хорошо ИИ ставит диагнозы и умеет избегать ошибок.

ОНЛАЙН-ПРАКТИКУМ

ЗАПУСК DEEPSEEK R1 ЛОКАЛЬНО НА СВОЕМ КОМПЬЮТЕРЕ

ЧТО БУДЕТ НА ОБУЧЕНИИ?

• ПОКАЖЕМ, КАК РАЗВЕРНУТЬ МОДЕЛЬ DEEPSEEK R1 ПРЯМО НА СВОЁМ КОМПЬЮТЕРЕ
• Где и как применять? Потестируем модель после установки на разных задачах
• Как дообучить модель под себя?

Участвовать бесплатно

Виртуальный ОСКЭ: как Google тестирует медицинский ИИ

Чтобы проверить, насколько хорошо работает AMIE, в Google устроили для него испытание,  почти как экзамен для студентов-медиков. Такой экзамен называется ОСКЭ (объективный структурированный клинический экзамен). В нем оценивают, как будущий врач справляется с реальными ситуациями от сбора жалоб до постановки диагноза.

Google провела исследование с участием 105 медицинских сценариев. В них участвовали актеры, которые изображали пациентов и общались либо с AMIE, либо с обычными врачами. Общение проходило через интерфейс, где можно было загружать изображения.

Специалисты — кардиологи, дерматологи и терапевты — вместе с актерами просматривали эти диалоги. Они оценивали, насколько точно ИИ собирал симптомы, ставил диагноз, предлагал лечение. Особое внимание уделялось стилю общению: был ли искусственный интеллект вежлив, проявлял ли сочувствие, и правильно ли понимал присланные изображения.

Как ИИ от Google показал себя в симулированной клинике?

Результаты тестирования медицинского ИИ AMIE получились неожиданно сильными. В лабораторных условиях он не просто справился с задачами, во многих случаях показал себя лучше, чем врачи.

Например, AMIE лучше анализировал изображения и другие визуальные данные, которые пациенты отправляли в чат. Он точнее ставил диагнозы и составлял более полные списки возможных заболеваний, чем врачи. Это отметили и сами эксперты-медики.

Специалисты высоко оценили, как ИИ интерпретирует изображения, рассуждает, предлагает лечение и понимает, когда случай действительно срочный. Сами пациенты (актеры, игравшие роли больных) часто говорили, что ИИ казался им более заботливым и заслуживающим доверия, чем реальные врачи в текстовой переписке.

И при всем этом ИИ не делал больше ошибок, чем люди. Он не «придумывал» диагнозы на основе изображений чаще, чем врачи.

Позже команда протестировала новую версию системы — уже с моделью Gemini 2.5. Она еще лучше справлялась с задачами, особенно в точности диагностики и выборе лечения.

Но в Google подчеркивают: это все еще лабораторные данные. Чтобы использовать такую систему в реальности, нужна дополнительная проверка врачами.

Чего ждать от медицинского ИИ в будущем?

В Google честно говорят: пока их ИИ AMIE прошел проверку только в условиях симуляции. А это, конечно, не то же самое, что настоящая работа врача в реальной клинике.

В исследовании участвовали актеры, которые играли пациентов по заранее заданному сценарию. Это полезно для первых тестов, но не отражает всех сложностей, с которыми сталкиваются врачи каждый день, особенно когда пациенты приходят с несколькими проблемами сразу. Кроме того, переписка в чате не может заменить живое общение или видеоконсультацию.

Что дальше? Google начинает осторожно тестировать AMIE в реальных медицинских условиях — вместе с Медицинским центром Beth Israel Deaconess, и только с согласия пациентов.

Чтобы сделать ИИ по-настоящему полезным для медицины, нужно научить его работать не только с текстом и фотографиями, но и с видео и аудио в реальном времени, как это уже делают телемедицинские сервисы.

Сама идея — дать ИИ возможность видеть и понимать медицинские данные, как это делают врачи — очень перспективная. Но путь от лабораторных тестов до реального инструмента, который можно безопасно использовать в медицине, будет долгим и потребует много осторожности.