Мужчина, который обратился к ChatGPT за советом по диете, случайно отравил себя и попал в больницу.
60-летний мужчина, который хотел исключить столовую соль из своей диеты по здоровым причинам, использовал большую языковую модель (LLM), чтобы получить предложения, чем заменить ее, согласно исследованию, опубликованному на этой неделе в журнале Annals of Internal Medicine.
Когда ChatGPT предложил заменить хлорид натрия (столовую соль) на бромид натрия, мужчина сделал замену в течение трех месяцев - хотя в статье отмечается, что рекомендация, скорее всего, имела в виду использование его для других целей, например, для уборки.
Бромид натрия - это химическое соединение, похожее на соль, но токсичное для человеческого потребления.
Ранее он использовался как антиконвульсант и седатив, но сегодня в основном применяется для уборки, производства и сельскохозяйственных целей, согласно Национальному институту здоровья.
Когда мужчина попал в больницу, он сообщил о чувстве усталости, бессоннице, плохой координации, прыщах на лице, ангиомах (красных шишках на коже) и чрезмерной жажде - все симптомы бромизма, состояния, вызванного длительным воздействием бромида натрия.
В исследовании также отмечалось, что у мужчины были признаки паранойи, поскольку он утверждал, что его сосед пытается отравить его.
Он также проявлял признаки слышимых и зримых галлюцинаций и в конечном итоге был помещен на психиатрическое наблюдение после попытки побега.
Мужчину лечили интравенозными жидкостями и электролитами, а также назначили антипсихотическое лекарство. Он был выписан из больницы после трех недель наблюдения.
"Этот случай также подчеркивает, как использование искусственного интеллекта (ИИ) может потенциально способствовать развитию предотвратимых негативных последствий для здоровья", - писали исследователи в исследовании.
"К сожалению, у нас нет доступа к журналу переписки его разговора с ChatGPT, и мы никогда не сможем точно узнать, каким был результат, поскольку индивидуальные ответы уникальны и строятся на предыдущих входных данных."
"Крайне маловероятно", что человеческий врач упомянул бы бромид натрия, общаясь с пациентом, ищущим замену для хлорида натрия, - отметили они.
"Важно учитывать, что ChatGPT и другие системы ИИ могут создавать научные неточности, лишены способности критически обсуждать результаты и в конечном итоге способствовать распространению дезинформации", - заключили исследователи.
Доктор Джейкоб Гланвилль, генеральный директор Centivax, биотехнологической компании из Сан-Франциско, подчеркнул, что людям не следует использовать ChatGPT в качестве замены врача.
"Это инструменты для предсказания языка - они лишены здравого смысла и могут привести к ужасным результатам, если человек не применяет свой собственный здравый смысл, решая, что спрашивать у этих систем и следовать ли их рекомендациям", - сообщил Гланвилль, не участвовавший в исследовании, Fox News Digital.
"Это классический пример проблемы: система по сути пошла по пути 'Хотите замену соли? Бромид натрия часто указывается как замена хлорида натрия в химических реакциях, поэтому он и является наилучшим вариантом замены здесь'."
Доктор Харви Кастро, сертифицированный врач скорой помощи и национальный спикер по искусственному интеллекту из Далласа, подтвердил, что ИИ - это инструмент, а не врач.
"Большие языковые модели генерируют текст, предсказывая наиболее вероятную последовательность слов, а не проверяя факты", - сказал он Fox News Digital.
"Ошибка ChatGPT с бромидом показывает, почему контекст является ключом в советах по здоровью", - продолжал Кастро. "ИИ не является заменой профессионального медицинского суждения, соответствуя отказам OpenAI."
Кастро также предупредил о "регуляторном разрыве" в использовании LLM для получения медицинской информации.
"Запреты FDA на бромид не распространяются на советы по ИИ - глобальный надзор за здоровьем по ИИ остается неопределенным", - сказал он.
Существует также риск того, что LLM могут иметь предвзятость данных и отсутствие проверки, что приводит к галлюцинациям информации.
"Если обучающие данные содержат устаревшие, редкие или химически ориентированные ссылки, модель может выводить их в неподходящих контекстах, например, бромид как замену соли", - отметил Кастро.
"Кроме того, текущие LLM не имеют встроенной проверки по актуальным медицинским базам данных, если это не явно интегрировано."
Для предотвращения случаев, подобных этому, Кастро призвал усилить защиту для LLM, такие как интегрированные базы данных медицинских знаний, автоматические флаги риска, контекстные подсказки и сочетание человеческого и ИИ контроля.
Эксперт добавил: "С целенаправленными мерами безопасности LLM могут эволюционировать из рискованных обобщенных инструментов в более безопасные, специализированные инструменты; однако без регулирования и контроля, подобные редким случаям будут, вероятно, повторяться."
OpenAI, создатель ChatGPT из Сан-Франциско, предоставил следующее заявление для Fox News Digital.
"Наши условия говорят, что ChatGPT не предназначен для использования в лечении какого-либо заболевания и не является заменой профессионального совета. У нас есть команды безопасности, работающие над снижением рисков, и мы обучили наши ИИ-системы поощрять людей обращаться за профессиональной помощью."
Мелисса Руди - старший редактор по здоровью и член команды по стилю журнала Fox News Digital. Подсказки по историям можно отправлять на melissa.rudy@fox.com.
