Инструмент InstructMesh поможет редактировать и печатать 3D-модели от ИИ

Исследователи из Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL), Google и Северо-Восточного университета разработали инструмент InstructMesh — он упрощает редактирование и 3D-печать моделей, сгенерированных ИИ

Проблема существующих ИИ-систем для 3D-печати в том, что они понимают, как должен выглядеть объект, но не как он должен работать — из-за этого получаются непрактичные модели. InstructMesh решает эту проблему: пользователь может сгенерировать 3D-дизайн (например, очков) и выделить части макета, которые нужно доработать перед печатью.

В основе InstructMesh — комбинация системы TRELLIS от Microsoft (создаёт 3D-модели по текстовым и визуальным запросам) и языковой модели GPT-4. С помощью инструмента учёные создали необычные объекты: кружку с драконом (его хвост служит ручкой), свисток в виде ракушки, очки с крыльями бабочки и дозатор-осьминога, разливающий напитки сразу в несколько чашек.

Тестирование показало: новички в 3D-моделировании смогли найти и исправить дефекты в моделях в 90 % случаев (оценка эксперта). Пользователи отметили, что инструмент прост в использовании и позволяет точно настраивать детали — например, увеличивать или вытягивать отдельные части модели.

В будущем разработчики планируют интегрировать InstructMesh в платформу дополненной реальности (AR) — чтобы создавать объекты с учётом окружения пользователя. Также в программу могут добавить симуляцию физических свойств (например, проверку, разобьётся ли миска при падении) и поддержку обновлённой версии TRELLIS.2 для более детальной проработки моделей.

Источник: MIT News