Новый метод обучения помог роботам точнее держаться заданного пути

Учёные из Иллинойсского университета в Урбане-Шампейне разработали метод обучения роботов, с которым те до 15 % точнее следуют заданной траектории, а их отклонения остаются в математически гарантированных пределах

Метод назвали Contraction-Aware Reinforcement Learning (CARL). В его основе — обучение с подкреплением: робот вырабатывает стратегию управления сам, раз за разом пробуя и получая обратную связь. Но такое обучение не гарантирует устойчивости: робот может научиться выполнять задачу и всё равно вести себя непредсказуемо или слишком сильно отклоняться от пути. CARL добавляет к обучению математическую теорию устойчивости динамических систем: обученная программа остаётся главным контроллером, но ошибки следования траектории не могут вырасти сверх заданных границ. Метод подходит для роботов с разными типами движения — колёсных, летающих и шестиногих.

Учёные испытали метод на трёх платформах: колёсном TurboBot 3 Burger, дроне с машущими крыльями и шестиногом роботе Jethexa. Тесты в симуляциях и на реальных устройствах показали рост точности следования траектории до 15 % по сравнению с существующими подходами.

Главная трудность при переносе навыков из симуляции в реальный мир — расхождения между моделью и настоящим роботом: например, в симуляции он весит 1 кг, а на деле — 1,2 кг. С такими расхождениями CARL справляется лучше существующих методов. Одно из возможных применений — борьба с лесными пожарами: роботы смогут искать очаги возгорания, собирать данные или доставлять грузы спасателям, и там непредсказуемое отклонение от маршрута может сорвать задачу. Код метода авторы выложили в открытый доступ на GitHub.

Ранее по теме: Робот освоил сложные задачи за 5 минут и научился исправлять ошибки

Источник: Interesting Engineering