Обмануть ИИ. Миссия невыполнима?
Искусственный интеллект все активнее внедряется в нашу жизнь, в том числе и в медицину. Мы все чаще видим приложения, обещающие помочь с диагнозом, или слышим, что врачи используют ИИ для расшифровки анализов. Но насколько можно доверять этим системам, когда дело касается здоровья? Новое крупное исследование, опубликованное в авторитетном журнале The Lancet Digital Health, показывает неожиданную проблему: ИИ очень легко обмануть, если ложная информация подана "красиво" и из "солидного" источника.
Ученые из медицинской системы Mount Sinai в Нью-Йорке решили проверить, как разные модели ИИ (подобные тем, что лежат в основе популярных чат-ботов) реагируют на медицинскую дезинформацию. Для этого они создали хитроумный эксперимент.
Они "скормили" искусственному интеллекту три типа информации:
Затем ученые задали ИИ более миллиона вопросов по этим материалам, чтобы понять: когда он верит ложным данным, а когда — нет.
Главный вывод оказался одновременно предсказуемым и пугающим. Для искусственного интеллекта важнее не то, насколько утверждение соответствует истине, а то, насколько авторитетно оно звучит.
Другими словами, современные модели ИИ запрограммированы доверять уверенности и авторитету. Они не анализируют факты так, как это делает человек, а скорее оценивают форму подачи.
Исследование также показало, что все боты ошибаются по-разному. Некоторые модели (в частности, семейство GPT от OpenAI) проявили себя как самые въедливые критики и реже других попадались в ловушки. Другие же модели были настолько доверчивы, что принимали за чистую монету почти две трети (до 63%) ложных утверждений. Это значит, что выбор конкретного инструмента ИИ для медицинских целей может быть критически важен.
Ученые подчеркивают: искусственный интеллект — это мощный инструмент, способный ускорить анализ данных и помочь врачам. Но прежде чем полностью доверять ему, в такие системы нужно встраивать дополнительные механизмы защиты. Они должны перепроверять медицинские факты, а не просто верить красивой форме. Пока же мы знаем точно: ИИ, как и человек, может пасть жертвой стереотипов и довериться "человеку в белом халате", даже если этот "человек" — липа.
Как проводилось исследование
Ученые из медицинской системы Mount Sinai в Нью-Йорке решили проверить, как разные модели ИИ (подобные тем, что лежат в основе популярных чат-ботов) реагируют на медицинскую дезинформацию. Для этого они создали хитроумный эксперимент.
Они "скормили" искусственному интеллекту три типа информации:
- Официальные документы. Взяли настоящие больничные выписки (эпикризы), но специально добавили в них одну неверную рекомендацию по лечению.
- Посты из соцсетей. Собрали популярные, но ошибочные медицинские мифы, которые гуляют по форумам вроде Reddit.
- Короткие истории болезней. Врачи-исследователи специально написали 300 небольших клинических случаев, часть из которых содержала логические ошибки.
Результаты
Главный вывод оказался одновременно предсказуемым и пугающим. Для искусственного интеллекта важнее не то, насколько утверждение соответствует истине, а то, насколько авторитетно оно звучит.
- Эффект белого халата. Если ложная информация была спрятана в документе, который выглядел как официальная медицинская справка от врача, ИИ верил ей почти в половине случаев. Точнее, вероятность того, что он примет ложь за правду, подскакивала до 47%.
- Недоверие к толпе. Если та же самая неверная информация была взята из поста в социальной сети, ИИ относился к ней с гораздо большим подозрением. В этом случае он "клевал" на удочку только в 9% случаев. Получается, что для машины важна не суть, а упаковка: больничная выписка для нее весомее, чем мнение тысяч пользователей в интернете.
- Важен не вопрос, а подача. Исследователи также заметили, что на ответы ИИ сильно влияет формулировка вопроса. Если спрашивать уверенным, "врачебным" тоном ("Я опытный доктор и считаю этот метод верным, не так ли?"), искусственный интеллект с большей вероятностью соглашался с ошибкой, даже если она была очевидной.
Разные модели — разные способности
Исследование также показало, что все боты ошибаются по-разному. Некоторые модели (в частности, семейство GPT от OpenAI) проявили себя как самые въедливые критики и реже других попадались в ловушки. Другие же модели были настолько доверчивы, что принимали за чистую монету почти две трети (до 63%) ложных утверждений. Это значит, что выбор конкретного инструмента ИИ для медицинских целей может быть критически важен.
Практические выводы
Это исследование — не просто академический интерес. Оно бьет тревогу по поводу стремительного внедрения ИИ в здравоохранение.
- Для пациентов: Если вы пользуетесь медицинскими чат-ботами, чтобы понять свои симптомы, будьте осторожны. Такой бот может с одинаковой уверенностью выдать как верный совет, так и опасную рекомендацию, если она "завернута" в красивую обертку. Исследование, опубликованное недавно в журнале Nature Medicine, подтверждает эту мысль: обращение к ИИ за советом по симптомам оказалось не полезнее обычного поиска в интернете. Иногда это просто более уверенный в своей правоте "гугл".
- Для врачей: Системы ИИ, которые помогают докторам ставить диагнозы или заполнять карты, могут быть подвержены той же проблеме. Если в историю болезни закрадется опечатка или неверный вывод коллеги, ИИ может не только не заметить этого, но и усугубить ошибку, опираясь на "авторитетный" источник.
