Этот ИИ, играющий в игры, — новый чемпион по Stratego
Исследователи из MIT, Университета Карнеги-Меллон, Нью-Йоркского и Стэнфордского университетов разработали ИИ-систему Ataraxos, которая с большим отрывом обыграла топовых игроков в настольную стратегическую игру Stratego.
Stratego — игра с неполной информацией: участники не знают, какие фигуры у оппонента, пока те не столкнутся на поле. Число возможных конфигураций фигур превышает 10⁶⁶ — это намного больше, чем в шахматах, из-за чего научить ИИ играть в Stratego крайне сложно. Предыдущие модели, в том числе от DeepMind, не могли превзойти лучших людей, а их обучение обходилось очень дорого.
Учёные применили метод обучения с подкреплением через самообучение: модель много раз играет сама с собой, чтобы выработать базовую стратегию. Дополнительно Ataraxos использует планирование в момент принятия решения: вероятностная генеративная модель оценивает, какие фигуры могут быть у противника, и анализирует будущие ходы перед выбором следующего действия. Благодаря эффективным алгоритмам система обучается быстрее и дешевле аналогов.
Ataraxos установил рекорд, победив сильнейшего игрока мира со счётом 15-1-4, и показал результат 39-2 против топовых игроков на чемпионате мира по Stratego. Система также продемонстрировала сверхчеловеческие результаты в других играх с неполной информацией: Barrage Stratego, Hanabi и Dou dizhu. Исследование опубликовано в журнале Nature.
В будущем учёные планируют добавить в Ataraxos механизмы интерпретируемости — чтобы система могла объяснять свои решения понятным человеку образом. В перспективе такой ИИ может помочь в решении реальных задач с неполной информацией: например, в бизнес-переговорах или кибербезопасности.
Источник: MIT News
