FoloToy приостановила продажи своего AI-плюшевого мишки Kumma после того, как группа по безопасности обнаружила, что игрушка давала рискованные и неуместные ответы во время тестирования. Теперь компания заявляет, что возобновила продажи после недели интенсивной проверки. Она также утверждает, что улучшила защитные механизмы для безопасности детей.
Объявление появилось в публикации в соцсетях, в которой акцентировалось стремление к более строгому контролю. Компания заявила, что завершила тестирование, усилила модули безопасности и обновила контент-фильтры. Она добавила, что стремится создавать соответствующие возрасту AI-компаньонов для семей по всему миру.
Подпишитесь на мой БЕСПЛАТНЫй CyberGuy ReportПолучайте мои лучшие технические советы, срочные оповещения о безопасности и эксклюзивные предложения прямо на почту. Кроме того, вы получите мгновенный доступ к моему Руководству по выживанию среди мошенников — бесплатно при подписке на мою рассылку на CYBERGUY.COM
Почему AI-мишка FoloToy вызвала опасения по безопасности
Спор начался, когда Фонд образования Группы исследований в интересах общества (PIRG) протестировал три разные AI-игрушки. Все они давали тревожные ответы, касающиеся религии, скандинавской мифологии и опасных предметов домашнего обихода.
Kumma выделился по плохой причине. Когда мишка использовал модель Mistral, он давал подсказки о том, где найти ножи, таблетки и спички. Он даже описал шаги, как зажечь спичку и потушить её.
Тесты с моделью GPT-4o вызвали ещё более серьёзную озабоченность. Kumma давал советы, связанные с поцелуями, и пускался в подробные объяснения взрослого сексуального контента в ответ на вопросы. Мишка пошёл дальше, спросив юного пользователя, что тот хочет исследовать.
Исследователи назвали такое поведение небезопасным и неуместным для любого продукта, ориентированного на детей.
FoloToy приостановила доступ к своим AI-игрушкам
После того как результаты стали достоянием общественности, FoloToy приостановила продажи Kumma и своих других AI-игрушек. Компания сообщила PIRG, что начала полный аудит безопасности по всем продуктам.
OpenAI также подтвердила, что приостановила доступ FoloToy к своим моделям за нарушение политик, разработанных для защиты лиц младше 18 лет.
Почему FoloToy возобновила продажи Kumma после проверки безопасности
FoloToy вернула Kumma в свой интернет-магазин всего через неделю после приостановки продаж. Стремительное возвращение привлекло внимание родителей и экспертов по безопасности, которые задались вопросом, хватило ли компании времени, чтобы исправить серьёзные проблемы, выявленные в отчёте PIRG.
FoloToy разместила подробное заявление на X, в котором изложила свою версию произошедшего. В публикации компания заявила, что рассматривает безопасность детей как свой «высший приоритет» и что она является «единственной компанией, которая добровольно приостановила продажи не только продукта, упомянутого в отчёте, но и наших других AI-игрушек». FoloToy заявила, что предприняла эти действия «немедленно после публикации результатов, потому что мы считаем, что ответственные действия должны предшествовать коммерческим соображениям».
Компания также подчеркнула для CyberGuy, что она была единственной из трёх стартапов по производству AI-игрушек в обзоре PIRG, которая приостановила продажи всех своих продуктов, и что она приняла это решение в пик рождественского сезона продаж, зная, что коммерческие последствия будут значительными. FoloToy сообщила нам: «Тем не менее, мы решительно двинулись вперёд, потому что считаем, что ответственные действия всегда должны стоять выше коммерческих интересов».
Компания также заявила, что серьёзно отнеслась к тревожным примерам из отчёта. По словам FoloToy, проблемы были «напрямую решены в ходе нашей внутренней проверки». Они объяснили, что команда «инициировала глубокий, общефирменный внутренний аудит безопасности», затем «усилила и обновила наши средства модерации контента и защиты детской безопасности» и «внедрила улучшенные правила безопасности и защитные механизмы через нашу облачную систему».
Описав эти шаги, компания заявила, что потратила неделю на «тщательную проверку, тестирование и усиление наших модулей безопасности». Она завершила своё объявление, сообщив, что «начала постепенно восстанавливать продажи продуктов», поскольку эти обновлённые защитные механизмы вступили в силу.
FoloToy добавила, что по мере роста глобального внимания к рискам AI-игрушек «прозрачность, ответственность и постоянное совершенствование необходимы», и что компания «твёрдо намерена создавать безопасных, соответствующих возрасту AI-компаньонов для детей и семей по всему миру».
Почему эксперты всё ещё сомневаются в исправлениях безопасности AI-игрушек FoloToy
Исследователь PIRG RJ Cross заявила, что её команда планирует протестировать обновлённые игрушки, чтобы проверить, насколько устойчивы исправления. Она отметила, что неделя кажется быстрым сроком для таких значительных изменений, и только новые тесты покажут, безопасно ли теперь ведёт себя продукт.
Родителям стоит следить за этим внимательно, поскольку AI-игрушки становятся всё более распространёнными. Скорость повторного запуска FoloToy вызывает вопросы о глубине проведённой проверки.
Советы для родителей перед покупкой AI-игрушек
AI-игрушки могут казаться увлекательными и полезными, но они также могут удивить вас контентом, которого вы никогда не ожидали. Если вы планируете принести в дом игрушку с искусственным интеллектом, эти простые шаги помогут вам сохранить контроль.
1) Проверьте, какую AI-модель использует игрушка
Не каждая модель следует одинаковым ограничительным рамкам. В некоторых есть более сильные фильтры, в то время как другие могут отвечать слишком свободно. Ищите прозрачную информацию о том, какая модель питает игрушку и какие функции безопасности её поддерживают.
2) Читайте независимые обзоры
Такие группы, как PIRG, часто тестируют игрушки способами, недоступными родителям. Эти обзоры выявляют скрытые риски и указывают на поведение, которое вы можете не заметить во время быстрых демонстраций.
3) Установите чёткие правила использования
Держите AI-игрушки в общих пространствах, где вы можете слышать или видеть, как ваш ребёнок с ними взаимодействует. Это поможет вам вмешаться, если игрушка даст тревожный ответ.
4) Сначала протестируйте игрушку самостоятельно
Задавайте игрушке вопросы, пробуйте творческие запросы и смотрите, как она справляется со сложными темами. Это позволит вам узнать, как она себя ведёт, прежде чем вы отдадите её ребёнку.
5) Обновляйте прошивку игрушки
Многие AI-игрушки работают на облачных системах. Обновления часто добавляют более сильные защитные механизмы или снижают количество рискованных ответов. Убедитесь, что устройство остаётся актуальным.
6) Проверьте наличие чёткой политики конфиденциальности
AI-игрушки могут собирать голосовые данные, информацию о местоположении или поведенческие паттерны. Сильная политика конфиденциальности должна объяснять, что собирается, как долго хранится и кто имеет к этому доступ.
7) Следите за внезапными изменениями в поведении
Если AI-игрушка начинает давать странные ответы или вторгается в темы, которые кажутся неуместными, прекратите её использование и сообщите о проблеме производителю.
Пройдите мой тест: Насколько безопасна ваша онлайн-безопасность?
Думаете, ваши устройства и данные действительно защищены? Пройдите этот быстрый тест, чтобы увидеть, на каком уровне находятся ваши цифровые привычки. От паролей до настроек Wi-Fi — вы получите персонализированный анализ того, что вы делаете правильно и что нужно улучшить. Пройдите мой тест здесь: Cyberguy.com
Ключевые выводы Курта
AI-игрушки могут предлагать развлечение и обучение, но они также могут подвергать детей неожиданным рискам. FoloToy заявляет, что улучшила безопасность Kumma, но эксперты всё ещё хотят доказательств. Пока обновлённая игрушка не пройдёт независимое тестирование, семьям, возможно, стоит сохранять осторожность.
Как вы думаете, могут ли AI-игрушки когда-нибудь быть полностью безопасными для маленьких детей? Дайте нам знать, написав нам на Cyberguy.com
Подпишитесь на мой БЕСПЛАТНЫй CyberGuy ReportПолучайте мои лучшие технические советы, срочные оповещения о безопасности и эксклюзивные предложения прямо на почту. Кроме того, вы получите мгновенный доступ к моему Руководству по выживанию среди мошенников — бесплатно при подписке на мою рассылку на CYBERGUY.COM
Авторские права 2025 CyberGuy.com. Все права защищены.
Курт «Киберпарень» Кнутссон — отмеченный наградами технический журналист, который глубоко любит технологии, оборудование и гаджеты, улучшающие жизнь, и делится этим в своих материалах для Fox News и FOX Business, начиная утро на «FOX & Friends». Есть технический вопрос? Получите бесплатную рассылку Курта CyberGuy, поделитесь своим мнением, идеей для истории или комментарием на CyberGuy.com.
