NVIDIA представила fVDB
NVIDIA описывает fVDB как платформу глубокого обучения для “нечастого, крупномасштабного и высокопроизводительного пространственного анализа”, позволяющую разработчикам программного обеспечения создавать “архитектуры ИИ и алгоритмы, масштабируемые до размеров реальности”. В качестве эффективного способа представления наборов данных такого масштаба он использует OpenVDB - открытый стандарт для различных объемных данных, и NanoVDB - упрощенное представление этих данных на графическом процессоре NVIDIA. После чего fVDB создает операторы искусственного интеллекта поверх NanoVDB - это позволяет выполнять общие задачи, такие как свёртка, объединение в пул, внимание и создание сетки.
Основным практическим вариантом использования fVDB, судя по всему, является создание крупномасштабных цифровых двойников реального мира для таких задач, как градостроительство и промышленное моделирование. Однако есть очевидные потенциальные применения в сфере развлечений, такие как создание компьютерных городов для визуальных эффектов или разработка игр. Видео в начале новости демонстрирует пару интересных примеров, созданных с использованием fVDB, включая генеративную модель искусственного интеллекта для создания воксельных изображений целых городских кварталов с низким разрешением, включая дома, дороги и деревья. В другой демонстрации fVDB используется для обновления существующей модели лица. В NVIDIA рассказали CG Channel, что fVDB - это “очень общая технология”, и сказали о том, что “мы ожидаем, что она будет всецело использоваться”.
NVIDIA позиционирует fVDB как более мощную по сравнению с существующими аналогичными технологиями, способную обрабатывать данные в “4-кратном пространственном масштабе и в 3,5 раза быстрее, чем предыдущие платформы”. Он также предназначен для упрощения реализации, предоставляя “простые в использовании API, чтобы вам не приходилось объединять разные библиотеки”. fVDB доступен в виде расширения PyTorch, может считывать и записывать существующие наборы данных VDB "из коробки" и интегрируется с существующими технологиями NVIDIA, такими как Warp и Kaolin.
Исходный код для fVDB будет доступен как часть репозитория GitHub для самой OpenVDB, поддерживаемого Academy Software Foundation. Функциональность fVDB также станет доступна через NIM - систему контейнеров NVIDIA для размещения микросервисов искусственного интеллекта, ускоряемых графическим процессором. NVIDIA планирует запустить три микросервиса fVDB для создания сетки, создания крупномасштабных NeRF в USD и улучшения физической симуляции.
Любые приложения, созданные на базе fVDB, должны работать на оборудовании NVIDIA. Фреймворк «построен с нуля на основных технологиях NVIDIA», включая CUDA - собственный API для вычислений на GPU, и ядра Tensor в современных графических процессорах NVIDIA. База данных fVDB должна быть объединена с репозиторием OpenVDB на GitHub “в ближайшее время”. Исходный код в репозитории доступен по лицензии MPL 2.0 с открытым исходным кодом. Разработчики программного обеспечения также могут подать заявку на ранний доступ к расширению fVDB PyTorch. NVIDIA пока не объявила дату выхода микросервисов fVDB NIM.