Genie 4 от Google: миры с аудио и управлением в реальном времени

Google DeepMind выпустила модель Genie 4, которая создаёт фотореалистичные интерактивные виртуальные миры и в реальном времени озвучивает их

Прямо во время симуляции сцену можно менять текстовыми запросами: сменить погоду или ракурс камеры, добавить людей и предметы. Звук модель создаёт сама и подстраивает под происходящее — музыку, фоновые шумы и реплики персонажей, с которыми можно разговаривать.

По сравнению с Genie 3, вышедшей чуть больше года назад, новая модель вдвое дольше — до двух минут — сохраняет сцену целостной, точнее передаёт физику и рисует более похожих на людей персонажей. Genie 4 тесно связана с Gemini: та работает как режиссёр — планирует действия и проверяет кадры, пока Genie создаёт изображение. В эксперименте, связанном с Gemini Robotics, модель Gemini 4 Argon разбивала задачи на шаги, а Genie 4 тут же их симулировала. Так сценарии для роботов можно проверять до испытаний в реальном мире.

Google предлагает применять Genie 4 в играх, интерактивном обучении и робототехнике, а первые тестеры видят ещё одну возможность — делать прототипы фильмов: модель помогает быстро набрасывать сюжет и раскадровку. Разработчики признают и недостатки: чем дольше идёт симуляция, тем сильнее «плывут» детали и объекты, звук не всегда точен, а текст внутри виртуального мира не всегда читается.

Пока Genie 4 доступна в исследовательском режиме только избранным тестерам. В ближайшие недели её получат подписчики Google AI Ultra в сервисе Project Genie, а также партнёры с ранним доступом к Gemini API и Google AI Studio.

Источник: TechCrunch