Робот осваивает задачи по пяти демонстрациям

Компания NVIDIA представила новую модель GR00T 2, которая позволяет роботам осваивать задачи по демонстрациям человека — даже если робот ранее не выполнял эти действия.

Модель GR00T 2 прогнозирует видео и движения роботов, изучая, как разворачиваются физические взаимодействия, и определяя действия для выполнения задачи. Она совместима с разными типами роботизированных устройств — от параллельных захватов до гуманоидов.

По данным NVIDIA, на 50 задачах, не показанных на испытуемом роботе, GR00T 2 без дообучения обеспечила в среднем 40 % успешных попыток. После пяти демонстраций каждой задачи на этом роботе и 30-минутного дообучения на одной видеокарте NVIDIA RTX 5090 показатель вырос до 95 %. Общая длительность записей этих пяти демонстраций составляла менее трёх минут на задачу.

В экспериментах модель успешно обучала роботов разным действиям: например, робот с пятипалым захватом правильно выстилал лабораторную воронку фильтровальной бумагой и смачивал её в 65 % случаев. Другой робот (YAM) собирал игрушечный самосвал в 60 % случаев: задачу показывали ручным захватом, без демонстраций на самом роботе. Для обучения использовали видео от первого лица, демонстрации с ручных захватов и данные телеуправления роботами — в сумме более 436 тыс. часов записей.

NVIDIA также разработала уменьшенную версию модели — GR00T 2 Turbo — для быстрого выполнения задач на гуманоидах. На роботе Unitree G1 с процессором Jetson Thor каждое предсказание занимало 124 миллисекунды: робот успешно подавал попкорн во всех 48 попытках и убирал предметы со стола в 93 % случаев. Модель представили на Конференции по обучению роботов в Остине (Техас) 9 ноября.

Ранее по теме: Робота научили объединять ходьбу и действия с предметами

Источник: Interesting Engineering