Исследователи представили нейросеть, которая создаёт высококачественные 3D-модели по фотографии. Нейросеть работает быстро и соблюдает исходную форму объектов. Кроме того, система умеет работать с материалами и красит модели в цвета, представленные на фотографии.

Для генерации 3D-модели на вход нейросети необходимо передать изображение. Это может быть фотография, рисунок или рендер. Примечательно, что потребуется только одно изображение, на котором хорошо видно объект с фронтальной стороны. От качества снимка зависит то, как нейросеть справится с генерацией 3D-модели.

Процесс преобразования изображения в модель занимает около 30 секунд и состоит из нескольких этапов диффузии. Это позволяет увеличить разрешение трёхмерного объекта на выходе. Также нейросеть использует алгоритм Isomer, который воссоздаёт полигональную сетку объекта по изображению. Благодаря этому Unique3D точно передаёт форму объектов.

Это не единственное решение для генерации 3D-моделей по фотографии. Разработчики Unique3D сравнили свою нейросеть с InstantMesh, CRM и OpenLRM. На сравнительных кадрах заметно, что в большинстве тестов Unique3D справляется лучше. Нейросеть лучше передаёт форму объектов, контуры и материалы.

Более детально изучить возможности Unique3D можно на официальном сайте проекта, а метод генерации 3D-объектов подробно описан в исследовании. Разработчики опубликовали на GitHub код и веса на Hugging Face. Кроме того, можно попробовать нейросеть онлайн. Демо доступно как на специальном сайте, так и на Hugging Face.