Попросите робота поставить кружку для кофе в шкаф, и вы быстро увидите, насколько сложной может быть обычная задача. Вы знаете, куда поставить кружку. Вы можете обойти стул, не заметить беспорядок на стойке и открыть нужный шкаф, не задумываясь. Роботу приходится прорабатывать каждую часть этого процесса.
Это помогает объяснить, почему сегодняшние роботы могут выглядеть впечатляюще во время демонстрации, но все еще испытывают трудности с базовыми задачами по дому или на заводе. Им нужен опыт во множестве разных комнат и ситуаций, прежде чем они смогут надежно работать. Обучение их всему в физическом мире требует времени и большого количества практического контроля.
Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института и Исследовательского института Toyota считают, что виртуальное обучение может помочь. Их система, названная SceneSmith, использует агентов ИИ для создания детализированных 3D-пространств в помещении на основе простых текстовых подсказок. Затем роботы могут практиковаться в задачах и выявлять слабые планы действий внутри этих сгенерированных ИИ пространств, прежде чем попасть в реальный дом или на рабочее место.
Подпишитесь на мой БЕСПЛАТНЫЙ отчет CyberGuy
Роботы могут проверять слабые планы действий внутри сгенерированных ИИ домов, прежде чем работать рядом с людьми и имуществом. (SceneSmith)
Почему виртуальные дома с ИИ важны для обучения роботов
Роботы учатся через опыт. Однако инженеры не могут легко смоделировать каждую планировку комнаты или расположение предметов, с которыми может столкнуться машина. Физическое тестирование также требует, чтобы кто-то восстанавливал сцену после каждой попытки. Опрокинутый стул или неправильно поставленная бутылка могут изменить следующий тест. Между тем, неудачное движение может повредить робота или что-то рядом.
Симуляция предлагает более безопасную альтернативу. Робот может повторять задачу, не разбив тарелку и не занимая реальное рабочее пространство. Тем не менее, многие ранние системы симуляции создавали комнаты, которые казались пустыми. Им часто не хватало беспорядка, движимой мебели и физических деталей, встречающихся в повседневных пространствах. SceneSmith делает эти учебные среды гораздо более похожими на реальный мир.
Другие разработчики также используют технологию AI видео для ускорения обучения человекоподобных роботов, превращая небольшие объемы реальных видеозаписей в синтетические учебные среды.
Как SceneSmith создает виртуальные дома с ИИ
SceneSmith начинается с простого письменного запроса. Исследователь может попросить гараж с машиной и верстаком, затем добавить шины в углу и лестницу у стены. После этого три агента ИИ на базе GPT-5.2 работают вместе, чтобы построить пространство. Дизайнер начинает создание комнаты. Критик проверяет, все ли выглядит реалистично. Оркестратор управляет процессом и решает, когда дизайн готов.
SceneSmith строит каждую среду слой за слоем. Он начинается с плана этажа и мебели, затем добавляет объекты на стены и потолок. Мелкие предметы, которые робот может взять или передвинуть, добавляются в последнюю очередь. Критик также отмечает решения, которые кажутся неуместными. Например, он может предложить убрать ванну из гостиной. Оркестратор может даже отправить проект на несколько шагов назад, если часть дизайна нуждается в доработке.
Как только агенты приходят к согласию, SceneSmith добавляет физику, которая управляет движением и реакцией объектов. В результате исследователи получают рабочую виртуальную комнату, где робот может открывать шкафы и манипулировать объектами, а не просто 3D-сцену, которая выглядит реалистично.
SceneSmith создает объекты, которыми роботы могут пользоваться
Роботу нужно больше, чем просто реалистичные декорации. Ему нужны объекты, которые реагируют на прикосновение. SceneSmith может размещать шкафы с работающими дверцами. Он также может создавать движимые объекты и оценивать физические свойства, такие как масса или трение. Эти детали влияют на то, как предмет реагирует, когда робот его хватает, толкает или роняет.
Для стандартных объектов система может использовать процесс «текст-в-изображение-в-3D». Она извлекает сочлененные предметы с движущимися частями из курируемой библиотеки. Этот подход поддерживает функциональность дверцей шкафов и ящиков внутри симулятора. Система также проверяет наложение объектов и позволяет гравитации разместить их в стабильных положениях.
Исследователи сообщили, что 96% объектов оставались стабильными во время симуляции. Менее 2% пар объектов сталкивались друг с другом. Эта работа важна, потому что робот не может многому научиться на виртуальной кухне, где чашки парят или мебель проваливается в пол.
Улучшенная виртуальная практика также может поддержать такие достижения, как этот новый мозг ИИ, который помогает роботам двигаться более по-человечески, особенно когда задача требует точных движений рук.
Исследователи Массачусетского технологического института использовали SceneSmith для генерации более 1300 виртуальных пространств, включая спальни, отели и захламленные специализированные комнаты. (SceneSmith)
SceneSmith создал более 1300 учебных пространств
Исследователи использовали SceneSmith для генерации более 1300 сцен. Коллекция включала знакомые пространства, такие как спальни и отели. Она также создала необычные обстановки, включая магазин керамики и игровую комнату в стиле Minecraft. Некоторые сцены содержали до шести раз больше предметов, чем сцены, созданные более ранними методами. В результате роботы могут сталкиваться с тем типом беспорядка, который делает реальные задачи сложными.
Роботу может понадобиться переместить банку газировки с полки на стол. Другая задача может включать размещение чашки в раковине. Каждая сцена меняет окружение, поэтому робот не может полагаться на одну тщательно продуманную планировку. Это разнообразие дает инженерам лучший способ увидеть, работает ли план робота за пределами одной демонстрации.
Виртуальные дома с ИИ могут выявлять ошибочные планы роботов
В робототехнике политика (policy) сообщает машине, как действовать на основе того, что она наблюдает. SceneSmith дает исследователям способ тестировать эти политики в различных средах. Команда сгенерировала 100 оценочных сцен, охватывающих четыре задачи по манипуляции. Политика робота пыталась выполнить каждую задачу в симуляции. Затем оценщик ИИ проверял результат, используя данные симулятора и визуальные наблюдения.
Оценщик достиг 99,7% согласия с человеческими метками. Этот результат предполагает, что исследователи могут использовать систему для массовой проверки попыток робота без ручной оценки каждого запуска. Фраза «учиться на своих ошибках» в заголовке требует одного важного уточнения. SceneSmith показывает, где политика терпит неудачу. Инженеры могут использовать эти неудачи для доработки последующих версий поведения робота. В этом исследовании система была сосредоточена на генерации сцен и автоматической оценке, а не на непрерывном самообучении после каждой ошибки.
Исследователи проверили, работают ли виртуальные дома
Виртуальная комната может выглядеть реалистично для человека, но все равно плохо работать во время обучения робота. Поэтому команда протестировала SceneSmith посредством физического взаимодействия внутри симулятора. Исследователи поместили независимо обученную политику робота в сгенерированные сцены. Политика была создана до SceneSmith и никогда не обучалась на его средах или активах.
В одной демонстрации робот переместил яблоко из миски на разделочную доску после получения языковой инструкции. Команда также телеуправляла роботом через виртуальные пространства. Исследователи управляли им, когда он открывал шкафы и убирал бутылки. Эти тесты показали, что среды могут поддерживать не только визуальный осмотр. В совокупности демонстрации предоставляют ранние доказательства того, что комнаты SceneSmith могут поддерживать полезные эксперименты в робототехнике.
Люди предпочитали виртуальные комнаты SceneSmith
Исследователи попросили 205 человек сравнить SceneSmith с более ранними методами генерации сцен. SceneSmith показал средний показатель победы 92% по реалистичности. Он также получил средний показатель победы 91% за соответствие исходной подсказке.
Практически это означает, что участники обычно считали его комнаты более правдоподобными и более точно соответствующими запросу. Эти результаты подтверждают визуальную сторону системы. Однако производительность робота остается более важным тестом. Способность SceneSmith сочетать реалистичный дизайн с применимой физикой дает проекту его самое сильное преимущество.
MITâs SceneSmith использует искусственный интеллект для создания реалистичных 3D-домов, где роботы могут безопасно практиковать повседневные задачи. (SceneSmith)
У SceneSmith все еще есть серьезная проблема со скоростью
Детализированные виртуальные комнаты требуют времени для создания. MIT сообщает, что SceneSmith может потребоваться несколько часов для создания одной сцены, потому что агенты ИИ создают и проверяют множество объектов. Большая вычислительная мощность может ускорить этот процесс. Тем не менее, создание большой учебной библиотеки потребует значительных ресурсов.
Текущая система также имеет ограниченную поддержку деформируемых объектов, таких как губки. Эти материалы меняют форму при прикосновении, что делает их более сложными для воспроизведения в симуляции. Исследователи надеются, что более крупные 3D-библиотеки помогут им расширить эту возможность.
Реальное тестирование по-прежнему будет играть жизненно важную роль. Дома содержат непредсказуемых людей и объекты, которые изнашиваются или ломаются. Симуляция может уменьшить рискованные пробы и ошибки, но инженеры все равно должны доказать, что роботы ведут себя безопасно за пределами цифровой комнаты.
Что это значит для вас
Будущий домашний робот мог бы практиковаться внутри сотен или даже тысяч виртуальных комнат, прежде чем когда-либо заедет на вашу кухню. Это дает разработчикам больше шансов обнаружить неверное действие или слабый план действий, пока робот все еще находится внутри симулятора. SceneSmith также может познакомить робота с комнатами, заполненными разной мебелью, объектами и планировками. Это важно, потому что ваша кухня будет выглядеть совсем не так, как тщательно организованное пространство, где робот впервые научился выполнять задачу.
Такая подготовка в конечном итоге может помочь таким машинам, как этот домашний робот, предназначенный для приготовления пищи, уборки и работы с беспорядком и сюрпризами, встречающимися в повседневных домах.
Технология все еще находится на стадии исследования, и роботам все равно понадобится много тестирования в физическом мире. Тем не менее, SceneSmith решает проблему, которую производителям роботов необходимо решить: как подготовить машину к домам, где стулья двигаются, столешницы захламлены и почти ничего не остается на одном месте?
Ключевые выводы Курта
SceneSmith дает роботам безопасное место, чтобы ошибаться. Инженеры могут заметить неверное действие в переполненном виртуальном доме до того, как машина рискует что-то повредить или подойти слишком близко к человеку. Что делает эту систему интересной, так это то, что комнаты на самом деле работают как физические пространства. Шкафы открываются, объекты двигаются, и роботы могут взаимодействовать с тем, что их окружает. Самый большой недостаток — скорость. Создание одной детализированной сцены может занять часы. Тем не менее, эти сгенерированные ИИ среды могли бы помочь разработчикам выявлять больше проблем до того, как робот когда-либо попадет в ваш дом.
Стали бы вы больше доверять домашнему роботу, если бы он уже совершил тысячи ошибок внутри сгенерированных ИИ домов? Дайте нам знать, написав нам на Cyberguy.com
Подпишитесь на мой БЕСПЛАТНЫЙ отчет CyberGuy
Copyright 2026 CyberGuy.com. Все права защищены.
Курт «CyberGuy» Кнутссон — удостоенный наград технический журналист, который глубоко любит технологии, оборудование и гаджеты, делающие жизнь лучше, со своими материалами для Fox News и FOX Business, начиная с утреннего шоу «FOX & Friends». Есть технический вопрос? Получите бесплатную рассылку CyberGuy от Курта, поделитесь своим мнением, идеей для истории или комментарием на CyberGuy.com.
