Логотип Data Secrets
Аватар пользователя
Unique3D

Вышла Unique3D — нейросеть для генерации высококачественных 3D-моделей

11.06.2024

Исследователи представили нейросеть, которая создаёт высококачественные 3D-модели по фотографии. Нейросеть работает быстро и соблюдает исходную форму объектов. Кроме того, система умеет работать с материалами и красит модели в цвета, представленные на фотографии.

Для генерации 3D-модели на вход нейросети необходимо передать изображение. Это может быть фотография, рисунок или рендер. Примечательно, что потребуется только одно изображение, на котором хорошо видно объект с фронтальной стороны. От качества снимка зависит то, как нейросеть справится с генерацией 3D-модели.

Процесс преобразования изображения в модель занимает около 30 секунд и состоит из нескольких этапов диффузии. Это позволяет увеличить разрешение трёхмерного объекта на выходе. Также нейросеть использует алгоритм Isomer, который воссоздаёт полигональную сетку объекта по изображению. Благодаря этому Unique3D точно передаёт форму объектов.

Unique3DЭто не единственное решение для генерации 3D-моделей по фотографии. Разработчики Unique3D сравнили свою нейросеть с InstantMesh, CRM и OpenLRM. На сравнительных кадрах заметно, что в большинстве тестов Unique3D справляется лучше. Нейросеть лучше передаёт форму объектов, контуры и материалы.

Unique3DБолее детально изучить возможности Unique3D можно на официальном сайте проекта, а метод генерации 3D-объектов подробно описан в исследовании. Разработчики опубликовали на GitHub код и веса на Hugging Face. Кроме того, можно попробовать нейросеть онлайн. Демо доступно как на специальном сайте, так и на Hugging Face.


Больше интересного - в нашем Telegram

Подпишись: @data_secrets