Stability AI и Tripo AI представили TripoSR для работы с 3D
TripoSRTripoSR генерирует текстурированную 3D-сетку из одного исходного изображения, автоматически создавая геометрию и текстуры, не видимые в оригинальном изображении. Модель была обучена на подмножестве общедоступного набора исследовательских данных Objaverse, используя 3D-модели, доступные по лицензии Creative Commons CC BY.
В техническом отчете, сопровождающем релиз, Stability AI и Tripo AI сравнивают TripoSR с другими моделями 3D-реконструкции с открытым исходным кодом, такими как OpenLRM и One-2-3-45. TripoSR превзошла другие протестированные модели по точности создаваемых моделей, а также по времени обработки.
В демонстрационном ролике Tripo AI результаты выглядят весьма достойно, хотя более простые модели на видео из блога Stability AI могут быть более типичными для финальных результатов.
Первые пользовательские тесты, как, например, данное видео от GamesFromScratch показывают, что результаты для объектов с твердой поверхностью могут быть использованы в качестве фоновых моделей для игр или AR-приложений, хотя результаты для органических персонажей...весьма интересны.
Исходный код TripoSR доступен на GitHub под лицензией MIT, а также список зависимостей. Весовые коэффициенты модели доступны на Hugging Face.
При настройках по умолчанию модель требует около 6 ГБ VRAM для ввода одного изображения, но, согласно Stability AI, она может работать на п.к. без GPU.