VLingNav: новая модель навигации для роботов от Пекинского университета

Команда под руководством профессора Юй Цзюньчжи из Пекинского университета совместно с другими организациями разработала модель навигации для роботов VLingNav, которая способна адаптироваться к разным условиям и запоминать пройденный путь

VLingNav помогает роботу искать заданный объект, находить цель по фотографии и следовать за движущейся целью. Механизм AdaCoT позволяет модели перед каждым действием выбирать, нужны ли промежуточные рассуждения. При движении по прямому коридору робот действует сразу, а на развилке модель сначала рассуждает о том, куда повернуть.

Система памяти VLingMem хранит краткие текстовые описания окружающей обстановки и сжатые изображения, полученные во время движения. Недавние кадры сохраняются подробнее, давние — с меньшей детализацией. Эти записи помогают модели учитывать, где робот уже искал цель и куда она двигалась, и сокращать повторные поиски в обследованных местах.

Для обучения создали Nav-AdaCoT-2.9M — набор навигационных примеров с указанием, когда и как модели следует рассуждать. Авторы называют его крупнейшим набором такого рода. Обучение продолжили в симуляции: модель самостоятельно исследовала среду, а при затруднениях управление перехватывал алгоритм-эксперт, показывавший, как продолжить движение. По сообщению команды, одна и та же модель показала ведущие результаты в нескольких открытых тестах навигации. Её также проверили без дополнительного обучения на реальном четырёхногом роботе: он выполнял навигационные задачи в жилых помещениях, офисах и на улице.

Ранее по теме: Новый метод обучения помог роботам точнее держаться заданного пути

Источник: Пекинский университет