Ученые представили новый метод ИИ-генерации трехмерного контента под названием DreamCraft3D. Этот метод позволяет преобразовать 2D изображение, созданное с помощью генеративной модели "текст-в-изображение", в трехмерный объект высокой четкости.
Для создания стабильных геометрий ученые используют сэмплирование на основе скоростного переноса — метод генерации образцов из диффузионной модели путем оптимизации функции потерь. Однако это может снизить качество текстуры. Для улучшения текстуры предлагается использовать усиленный скоростной перенос.
Затем исследователи обучают персонализированную диффузионную модель, Dreambooth, используя дополненные визуализации сцены, чтобы дать ей трехмерное понимание сцены.
Скоростной перенос на основе этой трехмерной модели предоставляет последовательное руководство для сцены.
Следует отметить, что благодаря чередующейся оптимизации диффузионной модели и трехмерного представления сцены, мы достигаем взаимного улучшения: оптимизированная 3D сцена способствует обучению специфической для сцены диффузионной модели, которая предоставляет все более последовательное руководство для трехмерной оптимизации. Таким образом, оптимизация получается усиленной, что ведет к значительному улучшению текстуры.
С помощью этого метода авторы исследования пытаются решить проблему несогласованности сгенерированных 3D объектов, от которых страдают другие модели. Результаты выглядят весьма впечатляющими, по крайней мере, теоретически. Модели текст-в-изображение все еще имеют проблемы с мелкими деталями, такими как текст, кроме того явно видно, что это не те модели, которые можно просто переносить в игры. Тем не менее, 3D модели, созданные с помощью DreamCraft3D, могут упростить производство моделей и облегчить жизнь художников, но для этого предстоит отработать весь пайплайн.