Модель искусственного интеллекта OpenMobile-2 стала лучшей среди открытых в управлении смартфоном

Учёные из Нанкинского университета, других вузов и компании SenseTime создали открытую модель искусственного интеллекта OpenMobile-2, которая сама управляет приложениями на смартфоне и может соперничать с закрытыми коммерческими моделями

Модель OpenMobile-2 обучена в среде с более чем 110 симулированными приложениями. При этом оказалось, что разнообразие приложений важнее объёма данных для обучения: при одинаковом объёме данных с ростом числа приложений доля задач, успешно выполненных в незнакомых программах, выросла с 60,7 до 67,5 процента.

На реальных устройствах Android старшая версия модели набрала 59,6 балла в тесте SPA-Bench — это лучший результат среди открытых моделей. В других тестах — AndroidWorld и MobileWorld — модель также показала значительный прогресс: например, в AndroidWorld результат вырос с 67,1 до 79,9 балла.

Для обучения исследователи воссоздали 35 популярных приложений, в том числе Taobao, JD, DiDi, Meituan, Slack и Google Drive. Симуляции автоматически сбрасываются в исходное состояние, а агент видит только скриншоты — так имитируется реальное использование приложений человеком. Кроме того, авторы сгенерировали 11,6 тысячи примеров рабочих процессов и более 2 тысяч практических заданий.

Отдельно авторы проверили прямые команды (например, «добавить в корзину»): с ними агенту не приходится искать пункт в меню. После обучения на таких командах доля решённых задач выросла максимум на 10,3 процентного пункта, а шагов агентам требовалось примерно на пять меньше.

Ранее по теме: Meta представила мощную открытую модель искусственного интеллекта Muse Spark Open

Источник: The Decoder