Семья 23-летнего Зейна Шамблина подает в суд на OpenAI, утверждая, что ChatGPT подтолкнул их сына к самоубийству. «Киберпарень» Курт Кнутссон предупреждает об опасностях нерегулируемого ИИ и обсуждает необходимость защитных мер и родительского контроля.
В этой статье говорится о самоубийстве. Если вы или кто-то из ваших знакомых размышляет о суициде, пожалуйста, свяжитесь с Линией помощи по предотвращению самоубийств и кризисных ситуаций по номеру 988 или 1-800-273-TALK (8255).
Искусственный интеллект рекламировали как благо для здравоохранения, но новое исследование выявило его потенциальные недостатки в части предоставления медицинских рекомендаций.
В январе OpenAI запустила ChatGPT Health — медицинскую версию популярного чат-бота.
Компания представила этот инструмент как «специальный опыт, который безопасно объединяет вашу медицинскую информацию и интеллект ChatGPT, чтобы помочь вам чувствовать себя более информированным, подготовленным и уверенным в вопросах вашего здоровья».
Но исследователи из Медицинской школы Икана на горе Синай обнаружили, что инструмент не смог порекомендовать неотложную помощь в «значительном числе» серьезных медицинских случаев.
Исследование, опубликованное в журнале Nature Medicine 23 февраля, было направлено на изучение того, как ChatGPT Health — который, как сообщается, имеет около 40 миллионов пользователей ежедневно — справляется с ситуациями, когда люди спрашивают, нужно ли обращаться за неотложной помощью.
Искусственный интеллект рекламировали как благо для здравоохранения, но новое исследование выявило его потенциальные недостатки в части предоставления медицинских рекомендаций. (iStock)
«Прямо сейчас ни один независимый орган не оценивает эти продукты до того, как они попадут к публике», — заявил Fox News Digital ведущий автор Ашвин Рамасвами, доктор медицины, преподаватель урологии в Медицинской школе Икана на горе Синай.
«Мы не стали бы принимать это для лекарства или медицинского устройства, и нам не следует принимать это для продукта, который десятки миллионов людей используют для принятия решений о здоровье».
### Сценарии неотложной помощи
Команда создала 60 клинических сценариев по 21 медицинской специальности, от незначительных состояний до реальных неотложных состояний.
Затем три независимых врача назначили соответствующий уровень срочности для каждого случая на основе опубликованных клинических рекомендаций 56 медицинских обществ.
Исследователи провели 960 взаимодействий с ChatGPT Health, чтобы увидеть, как реагирует инструмент, принимая во внимание пол, расу, барьеры в получении помощи и «социальную динамику».
В то время как «явные неотложные состояния» — такие как инсульт или тяжелая аллергия — в целом обрабатывались хорошо, исследователи обнаружили, что инструмент «занижал срочность» многих неотложных медицинских проблем.
Команда создала 60 клинических сценариев по 21 медицинской специальности, от незначительных состояний до реальных неотложных состояний. (iStock)
Например, в одном сценарии с астмой система признала, что у пациента проявляются ранние признаки дыхательной недостаточности, но все же порекомендовала подождать, а не обращаться за неотложной помощью.
«ChatGPT Health хорошо справляется со случаями средней тяжести, но терпит неудачу на обоих концах спектра — в случаях, где правильность решения важнее всего», — сказал Рамасвами Fox News Digital. «Он занизил срочность более чем половины реальных неотложных случаев и завысил срочность примерно в двух третях легких случаев, которые, согласно клиническим рекомендациям, следует лечить дома».
Занижение срочности может угрожать жизни, отметил врач, в то время как ее завышение может перегрузить отделения неотложной помощи и отсрочить помощь тем, кто в ней действительно нуждается.
Исследователи также выявили несоответствия в оповещениях о риске суицида. В некоторых случаях он направлял пользователей на Линию помощи по предотвращению самоубийств и кризисных ситуаций (988) в сценариях с низким риском, а в других — не предлагал эту рекомендацию, даже когда человек обсуждал суицидальные мысли.
«ChatGPT Health хорошо справляется со случаями средней тяжести, но терпит неудачу на обоих концах спектра».
«Сбой защиты от суицида был самым тревожным», — сказал Fox News Digital соавтор исследования Гириш Н. Надкарни, доктор медицины, главный директор по ИИ системы здравоохранения Маунт Синай.
ChatGPT Health предназначен для показа баннера кризисного вмешательства, когда кто-то описывает мысли о самоповреждении, отметил исследователь.
OpenAI запустила ChatGPT Health, медицинскую версию популярного чат-бота, в январе 2026 года. (Фотограф: Gabby Jones/Bloomberg via Getty Images)
«Мы протестировали его на 27-летнем пациенте, который сказал, что думал принять много таблеток», — поделился Надкарни. «Когда он описывал только свои симптомы, баннер появлялся в 100% случаев. Затем мы добавили нормальные результаты лабораторных исследований — тот же пациент, те же слова, та же тяжесть — и баннер исчез».
«Функция безопасности, которая идеально работает в одном контексте и полностью отказывает в почти идентичном контексте… это фундаментальная проблема безопасности».
Исследователей также удивил аспект социального влияния.
«Когда член семьи в сценарии говорил «это ничего серьезного» — что постоянно происходит в реальной жизни — система становилась почти в 12 раз более склонной преуменьшать симптомы пациента», — сказал Надкарни. «У каждого есть супруг или родитель, который говорит им, что они преувеличивают. ИИ не должен соглашаться с ними во время потенциальной чрезвычайной ситуации».
### Реакция врачей
Доктор Марк Сигел, старший медицинский аналитик Fox News, назвал это «важным» исследованием.
«Оно подчеркивает принцип, что хотя большие языковые модели могут определять срочность при явных неотложных состояниях, у них гораздо больше проблем с нюансированными ситуациями», — сказал Сигел, не участвовавший в исследовании, Fox News Digital.
ChatGPT и другие БЯМ могут быть полезными инструментами, сказал врач, но они «не должны использоваться для дачи медицинских указаний». (iStock)
«Вот где появляются врачи и клиническое суждение — знание нюансов истории пациента, того, как они описывают симптомы, и их подхода к здоровью».
ChatGPT и другие БЯМ могут быть полезными инструментами, сказал Сигел, но они «не должны использоваться для дачи медицинских указаний».
«Машинное обучение и постоянный ввод данных могут помочь, но никогда не компенсируют основную проблему — для решения, является ли что-то истинной чрезвычайной ситуацией или нет, необходимо человеческое суждение».
Доктор Харви Кастро, врач скорой помощи и эксперт по ИИ из Техаса, поддержал важность исследования, назвав его «именно тем независимым оценкой безопасности, которая нам нужна».
«Инновации движутся быстро. Надзор должен двигаться так же быстро», — сказал Кастро, который также не работал над исследованием, Fox News Digital. «В здравоохранении самые опасные ошибки происходят в крайних случаях, когда что-то выглядит легким, но на самом деле является катастрофическим. Вот где клиническое суждение важнее всего, и где ИИ должен проходить стресс-тестирование».
### Ограничения исследования
Исследователи признали некоторые потенциальные ограничения в дизайне исследования.
«Мы использовали клинические сценарии, написанные врачами, а не реальные разговоры с пациентами, и мы тестировали в один момент времени — эти системы часто обновляются, поэтому производительность может меняться», — сказал Рамасвами Fox News Digital.
Кроме того, большинство пропущенных неотложных случаев произошли в ситуациях, когда опасность зависела от того, как состояние меняется со временем. Неясно, произошла бы та же проблема с острыми неотложными медицинскими состояниями.
Поскольку система должна была выбрать только одну фиксированную категорию срочности, тест может не отражать более нюансированные советы, которые она могла бы дать в диалоговом разговоре, отметили исследователи.
ChatGPT Health предназначен для показа баннера кризисного вмешательства, когда кто-то описывает мысли о самоповреждении. (iStock)
Кроме того, исследование не было достаточно масштабным, чтобы уверенно обнаружить небольшие различия в рекомендациях в зависимости от расы или пола.
«Нам нужен постоянный аудит, а не разовые исследования», — отметил Кастро. «Эти системы часто обновляются, поэтому оценка должна быть непрерывной».
### «Не ждите»
Исследователи подчеркнули важность немедленного обращения за помощью при серьезных проблемах.
«Если что-то ощущается серьезно неправильным — боль в груди, затрудненное дыхание, тяжелая аллергическая реакция, мысли о самоповреждении — отправляйтесь в отделение неотложной помощи или звоните по номеру 988», — посоветовал Рамасвами. «Не ждите, пока ИИ скажет вам, что все в порядке».
Исследователи отметили, что они поддерживают использование ИИ для улучшения доступа к здравоохранению и что они проводили исследование не для того, чтобы «разрушить технологию».
«Эти инструменты могут быть действительно полезны для правильных вещей — понимания уже поставленного диагноза, выяснения, для чего нужны ваши лекарства и каковы их побочные эффекты, или получения ответов на вопросы, которые не были полностью освещены во время короткого визита к врачу», — сказал Рамасвами.
«Это очень отличается от решения, нужна ли вам неотложная помощь. Относитесь к ним как к дополнению к вашему врачу, а не как к замене».
«Это исследование не означает, что мы отказываемся от ИИ в здравоохранении».
Кастро согласился, что преимущества инструментов ИИ для здоровья следует сопоставлять с рисками.
«Инструменты ИИ для здоровья могут увеличить доступ, сократить ненужные визиты и дать пациентам информацию», — сказал он. «Они не являются по своей природе небезопасными, но они еще не являются заменой клинического суждения».
«Это исследование не означает, что мы отказываемся от ИИ в здравоохранении», — продолжил он. «Это означает, что мы делаем его зрелым. Независимое тестирование и более сильные защитные механизмы определят, станет ли ИИ страховочной сеткой или обязательством».
Fox News Digital обратилась к Open AI, создателю ChatGPT, за комментарием.
### Похожая статья
Мелисса Руди — старший редактор отдела здравоохранения и член команды по стилю жизни Fox News Digital. Советы по историям можно отправлять на melissa.rudy@fox.com.
