ИИ перенёс навыки прогнозирования с искусственных данных на реальные

Учёные из Тель-Авивского и Стэнфордского университетов показали, что небольшая ИИ-модель, обученная только на искусственных последовательностях символов, может применять навыки прогнозирования к реальным данным — от текстов и изображений до музыки и ДНК.

В рамках исследования использовались две модели: одна генерировала короткие компьютерные программы, создающие последовательности символов, а вторая училась предсказывать следующий символ в каждой последовательности. Модель-генератор получала обратную связь о том, насколько задания помогают второй модели учиться, и постепенно подбирала более полезные задания.

После обучения исследователи проверили, сможет ли модель применять полученные навыки для прогнозирования реальных данных, с которыми она не сталкивалась во время тренировки. Модель проверяли на текстах, изображениях, звуках, музыке, коде и последовательностях ДНК. Чем больше вычислительных ресурсов выделяли на обучение, тем лучше она предсказывала данные из разных областей.

В сгенерированных данных появлялись знакомые математические закономерности, например последовательность Фибоначчи. Кроме того, предварительная тренировка по новому методу ускорила обучение модели при последующем знакомстве с реальными данными. Эксперименты проведены на небольших моделях, результаты доступны в препринте. Авторы подчёркивают: обучение на искусственных данных само по себе не даёт модели фактических знаний о мире.

Ранее по теме: Искусственный интеллект предскажет нагрузку на отделения неотложной помощи с учётом социальных факторов

Источник: Tel Aviv University