Новая модель DreamDojo от Nvidia: ИИ для робототехники

Nvidia представила модель мира для робототехники под названием DreamDojo. Это масштабный, полностью open-source ИИ, разработанный для понимания мира от первого лица и его быстрой адаптации под различных роботов.

Ключевые особенности DreamDojo:

1. Мощная нейросеть: Модель состоит из нейросети с 2B и 14B параметров, способной предсказывать будущее в пикселях.
2. Отсутствие физического движка: Разработка не требует физического движка, 3D-моделей или ручной настройки физики, поскольку всё обучение проводилось на основе данных.
3. Обширный датасет: Изначально модель была обучена на 44 000 часах человеческих видео от первого лица – самом большом таком датасете на сегодняшний день.
4. Обучение скрытых действий: Из-за отсутствия меток действий робота в видео, модель самостоятельно выучила «скрытые непрерывные действия», определяя, что «изменилось» в каждой ситуации.
5. Дообучение на специфических данных: После предварительного обучения, модель дообучается на небольшом количестве данных конкретного робота.
6. Высокая производительность: Быстрая версия модели обеспечивает работу в реальном времени, с частотой до 10–11 кадров в секунду на одной мощной видеокарте, и стабильно поддерживает длинные симуляции.

Какие задачи решает DreamDojo?

* Симуляция робота в виртуальной среде.
* Быстрое и безопасное тестирование политик управления.
* Прямая телеперация в VR внутри модели.
* Оценка политик без использования реального оборудования.
* Планирование действий.