Nvidia представила модель мира для робототехники: DreamDojo

Nvidia выпустила модель мира, предназначенную для робототехники под названием DreamDojo. Это огромный предобученный ИИ, который понимает, как работает мир от первого лица, и его легко адаптировать под любого робота.

Simulation 2.0 направлена на масштабирование данных, а не движки. DreamDojo включает в себя:

1. Большую нейросеть (2B и 14B параметров), которая предсказывает будущее в пикселях. Она построена на NVIDIA Cosmos-Predict 2.5.
2. Отсутствие физического движка, 3D-моделей и ручной настройки физики — всё выучено из данных.
3. Обучена на 44 000 часов человеческих видео от первого лица (самый большой такой датасет на сегодня).
4. Модель самостоятельно выучила скрытые непрерывные действия, которые она интерпретирует как «что изменилось», так как в человеческих видео отсутствуют метки действий робота.
5. После этого модель дообучают на небольшом количестве данных конкретного робота.
6. Разработана быстрая версия, работающая в реальном времени (около 10–11 кадров в секунду) на одной мощной видеокарте, что позволяет стабильно поддерживать длинные симуляции.

Для чего это нужно? – Симулировать робота во «сне» вместо реального мира, – учить/тестировать политики быстро и безопасно. – Прямая телеперация в VR внутри модели. – Оценивать политики без реального железа. – Планирование действий.