Reka AI представила омни-модель Rho-1 для работы с текстом, видео и управления роботами

Как сообщает The Decoder, компания Reka AI выпустила исследовательскую версию омни-модели Rho-1

Модель с 19 миллиардами параметров обрабатывает и генерирует текст, изображения, видео, а также формирует команды для управления роботами — и всё это в рамках единой нейросети. В отличие от большинства ИИ-систем, которые направляют задачи в специализированные модели, Rho-1 работает со всеми типами данных как с токенами в общем контексте — без привлечения внешних инструментов или моделей.

Для обучения Rho-1 использовали 320 графических процессоров H100, процесс занял около трёх месяцев. Чтобы компенсировать нехватку данных для обучения управления роботами, разработчики создали модель обратной динамики: она извлекает управляющие сигналы из обычных интернет-видео. Модель генерирует непрерывное видео в реальном времени и оперативно реагирует на новые инструкции без перезапуска.

Источник: The Decoder