LATTE3D - получение 3D модели по текстовому описанию
LATTE3D (Large-scale Amortized Text-To-Enhanced3D Synthesis) - новейшая модель искусственного интеллекта NVIDIA для преобразования текста в 3D, третья за год, после Magic3D и ATT3D. Каждая из них улучшила предыдущую модель, увеличив скорость обучения и финального результата. В ATT3D NVIDIA начала обучение на нескольких текстовых подсказках, а также на нескольких 3D ассетах, чтобы учесть различные способы, которыми пользователь может описать объект для воссоздания. Такой подход ускоряет обучение по сравнению с обучением на отдельных подсказках, как это было в Magic3D. LATTE3D также использует множество подсказок - для работы NVIDIA сгенерировала набор из 100 000 возможных подсказок с помощью ChatGPT - но при этом улучшает визуальное качество создаваемых объектов.
Если сравнить демо-ассеты, созданные ATT3D и LATTE3D, то результат LATTE3D заметно четче и детальнее. Они всё ещё имеют относительно низкое разрешение, но уже достигают того уровня, когда их можно использовать для выделения сцены или даже в качестве фоновых ассетов.
LATTE3D - в первую очередь доказательство концепции: NVIDIA не опубликовала исходный код, и модель была обучена только для двух конкретных типах ассетов: животных и повседневных объектов. Особенно важным является то, что она показывает скорость развития text-to-3D и, соответственно, то, как скоро могут появиться общедоступные сервисы text-to-3D.
На конференции NVIDIA GTC 2024 Саня Фидлер (Sanja Fidler), вице-президент компании по исследованиям ИИ, признала, что качество "еще не приблизилось к тому, что мог бы создать художник", но отметила, как далеко продвинулись дела с тех пор, как Google анонсировал свою новаторскую модель DreamFusion в конце 2022 года.
"Год назад для создания 3D-изображений такого качества моделям искусственного интеллекта требовался час, а сейчас на это уходит от 10 до 12 секунд", - сказала она. "Теперь мы можем получать результаты на порядок быстрее, что делает практически реальную генерацию текста в 3D-формате доступной для творцов из разных отраслей".