Runway открыла доступ к модели для управления роботами

Компания Runway выпустила модель Praxis-1 с открытыми весами под лицензией Apache 2.0 — она позволяет использовать видео для управления различными роботами

Praxis-1 — модель с 27 млрд параметров, которая прогнозирует видео и действия одновременно. По данным Runway, в тесте NVIDIA RoboLab-120 модель успешно выполнила задания в 46,2% из 1200 попыток. Тест включает 120 задач с манипулятором в симуляции; среди моделей, совместно предсказывающих видео и действия, результат Praxis-1 лучший.

Партнёры Runway — Noble Machines, Standard Bots и Ultra — уже тестировали модель на разных типах роботов: шагающем гуманоиде, шестиосевом промышленном манипуляторе и двухруком складском роботе. С помощью дообучения методом низкоранговой адаптации модель можно адаптировать под конкретное оборудование, камеры и задачи без полного переобучения.

Praxis-1 уже доступна на GitHub, Hugging Face (с поддержкой LeRobot) и в vLLM-Omni. Модель работает на оборудовании NVIDIA — от серверных графических процессоров (H100 и B200) до видеокарт для рабочих станций (RTX 5090 и RTX PRO 6000) и Jetson Thor на самом роботе.

Runway подчёркивает, что открытые веса модели дадут разработчикам оборудования гибкость в использовании и адаптации модели. Runway — один из основателей Cosmos Coalition, инициативы по развитию открытых моделей мира для физического ИИ.

Ранее по теме: Nvidia в 125 раз удешевила подготовку видео для обучения роботов

Источник: Runway