ИИ строит 3D-сцены из фото, но не может оценить точность — учёные нашли решение

Как сообщает The Decoder, исследователи из Университета Мэриленда и AWS разработали метод Image-to-Code: ИИ строит редактируемую 3D-сцену из одной фотографии, пошагово дорабатывая код для Blender.

Учёные создали бенчмарк LEGO-Bench для оценки качества 3D-реконструкций: он включает 208 изображений и использует профессионально созданные симуляционные сцены — это позволяет точно замерять геометрическую точность и внешний вид результата. Тесты показали, что даже лучшие модели (например, GPT-6 Astra) достигают лишь 53,4 % точности для интерьеров и 39,6 % для экстерьеров, а с ростом сложности сцены точность падает.

Чтобы решить проблему, команда разработала плагин LEGO-Plugin — он заменяет ненадёжную самооценку модели объективными метриками и защищает прогресс от регрессивных правок. Плагин заметно улучшил результаты слабых моделей (до +62,7 %), а для топовой модели прибавка составила около 2 %. При этом созданные сцены пока уступают специализированным решениям в задачах вроде сегментации и оценки глубины.

Источник: The Decoder