Бывший исследователь Anthropic предупреждает, что ИИ — это супероружие
FOX Business' Стюарт Варни сообщает о предупреждении бывшего исследователя Anthropic Джейкоба Коксона о том, что искусственный интеллект может представлять экзистенциальную угрозу для человечества.
Anthropic заявила в четверг, что пресекла несколько попыток исследователей в этом году использовать её ИИ-модели для биологических исследований, которые потенциально могли способствовать разработке биологического оружия, что побудило компанию заблокировать аккаунты и усилить меры защиты.
В 154-страничном отчёте под названием «Обнаружение и противодействие неправомерному использованию ИИ» компания в сфере искусственного интеллекта (ИИ) описала пять тематических исследований с участием исследователей, которые использовали её чат-бот Claude для продвинутых биологических исследований с потенциальным двойным применением.
По итогам расследования компания заявила, что заблокировала связанные аккаунты, поделилась своими выводами с государственными органами и другими ИИ-лабораториями и усилила меры безопасности.
«Мы заблокировали все связанные аккаунты, совместно с партнёрами добились отключения ретрансляционных сетей, обходивших региональные блокировки, и поделились нашими выводами с затронутыми ИИ-лабораториями и государственными органами», — заявила Anthropic.
Anthropic заявила, что пресекла несколько попыток исследователей в этом году использовать её ИИ-модели для биологических исследований, которые потенциально могли способствовать разработке биологического оружия. (Davide Bonaldo/SOPA Images/LightRocket via Getty Images)
Anthropic подчеркнула, что не утверждает, будто исследователи намеревались причинить вред, отмечая, что биологические исследования могут использоваться для разработки вакцин и методов лечения, но также могут быть использованы во вред.
«Биологические возможности имеют двойное применение: они могут использоваться как в полезных, так и во вредоносных целях, и часто трудно отличить одно от другого», — говорится в отчёте.Â
«Одна и та же информация, которая может быть использована для разработки биологического оружия, может также использоваться, например, для разработки вакцины или лекарства от болезни».
Один из случаев касался исследователя, попросившего Claude помочь составить заявку на грант для исследований с усилением функции вируса чикунгунья, переносимого комарами.
Anthropic заявила, что предложение включало модификацию вируса, чтобы сделать его более заразным и более опасным.Â
Хотя такие исследования могут помочь учёным разрабатывать вакцины и методы лечения, компания заявила, что их также можно использовать во вред, чтобы сделать вирус более опасным.
Компания заявила, что заблокировала запрос и позже обнаружила, что исследователи использовали стороннюю платформу для обхода региональных ограничений и автоматической переадресации отклонённых запросов в другую ИИ-модель.
Один из случаев касался исследователя, попросившего Claude помочь составить заявку на грант для исследований с усилением функции вируса чикунгунья, переносимого комарами. (Samuel Boivin/NurPhoto via Getty Images)
Другие случаи касались птичьего гриппа, исследований ортопоксвирусов и исследований, связанных с неконтагиозными ядами и токсинами, согласно отчёту.
«Искусные угрожающие субъекты осознают, что мы (и другие поставщики ИИ) пытаемся обнаруживать опасное использование наших моделей, и они используют двойственную природу биологии, чтобы сохранять своего рода „правдоподобное отрицание“ в отношении своих исследований», — заявила компания.
Отдельно в отчёте подробно описаны несколько случаев, связанных с Ираном, в которых субъекты, как утверждается, использовали Claude для поддержки кампаний влияния, усилий по наблюдению и исследований, касающихся военно-морских сил США.
«Мы выявили и пресекли угрожающего субъекта, связанного с Ираном, который использовал Claude для сбора и анализа общедоступных данных для разработки рекомендаций по целям против военно-морских сил США в регионе», — заявила компания.
Anthropic добавила: «Мы заблокировали аккаунт этого субъекта, разработали средства обнаружения для снижения риска будущего неправомерного использования и поделились разведданными об угрозах с государственными органами для пресечения угрозы».
Другие случаи касались птичьего гриппа, исследований ортопоксвирусов и исследований, связанных с неконтагиозными ядами и токсинами, согласно отчёту. (Smith Collection/Gado/Getty Images)
Отчёт появился после того, как во вторник старший исследователь безопасности Anthropic заявил, что вероятность того, что ИИ «убьёт всех людей» в течение следующего десятилетия, превышает 10%, — в ответ на бывшего сотрудника, который уволился, обвинив компанию в безответственных действиях.
Бывший исследователь Anthropic и OpenAI Джейкоб Коксон написал в длинной ветке об увольнении, опубликованной в X в воскресенье, что «люди, создающие ИИ, искренне верят, что он может убить нас всех к концу десятилетия».
«Я уволился из Anthropic сегодня. Последние три года я занимался исследованиями предобучения и в OpenAI, и в Anthropic. Ни одна из компаний не действует ответственно. Они мчатся прямо к самоулучшающемуся сверхинтеллекту и играют с нашими жизнями», — написал он.
FOX Business не удалось сразу получить комментарий от Anthropic.
Роберт Макгриви из FOX Business contributed to this report.
