GANverse3D — Knight Rider KITT воссоздан с помощью искусственного интеллекта NVIDIA

NVIDIA анонсирует новую технологию, которая позволяет создавать 3D модели из 2D изображений силами ИИ. Новый движок дает нам возможность с помощью искусственного интеллекта оживить культовый автомобиль Knight Rider, в NVIDIA Omniverse.

Embargoed GANverse3D Render.png Благодарность: Isha Salian

Приложение GANverse3D, разработанное исследовательской лабораторией NVIDIA AI Research Lab в Торонто, может создавать 3D-модели на основе фотографий, полученные модели можно визуализировать и контролировать в виртуальных средах.

Эта технология открывает широкие возможности для архитекторов, разработчиков игр и дизайнеров, давая им возможность легко добавлять новые объекты в свои макеты, при этом не требуя опыта в 3D-моделировании или большого бюджета на расходы на визуализацию.

Например, имею всего одну фотографию автомобиля, вы можете превратить ее в 3D-модель, которая будет иметь реалистичные фары, задние фонари и поворотники.

Для создания набора обучения, исследователи прибегли к использованию генеративной состязательной сети или GAN, для синтезирования изображений, представляющих собой один и тот же объект с разных точек зрения. Например, фотограф, который ходит вокруг припаркованного автомобиля, делая снимки с разных ракурсов. Все эти изображения, с разными ракурсами, были включены в структуру рендеринга для инверсной графики - процесс вывода 3D сетки модели из 2D изображений.

После обучения на изображениях с разных ракурсов GANverse3D достаточно одного 2D изображения для построения 3D объекта. Данная модель может использоваться с нейронным 3D рендером, который даёт разработчикам контроль над настройкой объектов и сменой фонов.

При импорте в виде расширения на платформу NVIDIA Omniverce и запуске на графических процессорах NVIDIA RTX - GANverse3D можно использовать для воссоздания любого 2D изображения в 3D формате - как, например, любимый автомобиль для борьбы с преступностью KITT из популярного телешоу 1980 годов "Рыцарь Дорог".

В предыдущих моделях инверсной графики, в качестве обучения, были использованы трёхмерные данные. Сейчас, по словам Ваньчжэн Чен — научного сотрудник NVIDIA и ведущего автор проекта — вместо 3D ресурсов, модель GAN выступает в роли очень эффективного генератора данных, для создания 3D объектов из любого 2D изображения в Интернете.

"Поскольку мы тренировались на реальных изображениях, вместо типичного пайплайна, который основан на синтетических данных, модель ИИ лучше обобщается на реальные приложения", - сказал исследователь NVIDIA Джун Гао, автор проекта.

Исследования GANverse3D будут представлены на двух предстоящих конференциях: Международная конференция по обучающим представительствам, в мае и Конференция по Компьютерному зрению и распознаванию образов, в июне.


От Flat Tire до Racing KITT.

Разработчики игр, архитекторы и дизайнеры полагаются на виртуальные среды, такие ка NVIDIA Omniverse - платформы для моделирования и совместной работы для проверки новых идей и визуализации прототипов перед созданием своих конечных продуктов. С Omniverse Connectors разработчики могут использовать предпочтительные для себя 3D приложения в Omniverse для моделирования сложных виртуальных миров при помощи рейтрейсинга в реальном времени.

Однако не каждый разработчик располагает временем и ресурсами для создания 3D моделей каждого объекта, для которого были созданы скетчи. Стоимость захвата большого количества изображений с разными ракурсами, необходимых для рендеринга массы автомобилей в выставочном зале или зданий на улице, может быть слишком высока.

Как раз в такой ситуации приложение GANverse3D можно использовать для преобразования стандартных изображений автомобиля, здания или даже площади в трёхмерную модель, которую впоследствии можно настроить и анимировать в Omniverse.

Для воссоздания KITT, исследователи просто "скармливали" обученной системе изображения автомобиля, позволяя GANverse3D "предсказывать" соответствующую трёхмерную текстурированную сетку, а также различные части автомобиля, например фары или колёса. После чего они использовали NVIDIA Omniverse Kit и инструменты NVIDIA PhysX для преобразования предсказанной текстуры в высококачественные материалы, которые придают KITT более реалистичный вид и помещают его в динамичную среду рядом с другими автомобилями.

"Omniverse позволяет предлагать захватывающие, передовые исследования непосредственно разработчикам и конечным пользователям", - говорит Жан Франсуа Лафлеш - инженер по глубокому обучению NVIDIA. "GANverse3D как расширение в Omniverse поможет художниками создавать более богатые виртуальные миры при разработке игры, планировать городскую среду или даже обучать новым моделям машинного обучения."

GAN - сила масштабного изменения.

Поскольку реальные наборы данных, которые фиксируют один и тот же объект под разными углами, редки, большинство инструментов ИИ, которые конвертируют изображения из 2D в 3D, обучаются с использованием синтетических наборов 3D данных, таких как ShapeNet.

Вместо получения изображений с разным ракурсом из реальных данных, например, изображений автомобилей, общедоступных в интернете, исследователи NVIDIA обратились к модели GAN - манипулируя с её слоями нейронной сети, дабы получить генератор данных.

Команда обнаружила, что открытие первых четырёх слоёв нейронной сети и замораживание оставшихся двенадцати заставили GAN визуализировать изображения одного и того же объекта с разных углов обзора.

Если первые четыре слоя оставались замороженные, а двенадцать остальных - переменными - нейронная сеть создавала разные изображения с одной и той же точки зрения. Вручную назначив стандарт точки обзора, с транспортными средствами, изображёнными на определённой высоте и на определённом расстоянии от камеры, исследователи могут быстро создать данные с разных ракурсов из отдельных 2D изображений."

Финальная модель, обученная на 55000 изображениях автомобилей, созданных GAN, превзошла сеть, обученную на популярном наборе данных Pascal3D.

По ссылке, вы можете ознакомиться с полной статьёй ICLR, автором которой являются Вэньчжэн Чен, коллеги - исследователи NVIDIA Цзюн Гао и Хуан Лин, Санджа Фидлер - директор исследовательской лаборатории в Торонто, студент университета Ватерлоо Юйсюань Чжан, студент Стэнтфорда Ииан Чжан и профессор Масачусетского технологического института Антонио Торральба. Среди других соавторов статьи CVPR - Жан Франсуа Лафлеш, исследователь NVIDIA Кансюэ Инь и Андела Барриусо.

Исследовательская группа NVIDIA состоит из более чем 200 учёных со всего мира, специализирующихся на таких областях как искусственный интеллект, компьютерное зрение, беспилотные автомобили, робототехника и графика.

Больше информации о последних исследованиях компании и отраслевых достижениях генерального директора NVIDIA Дженсена Хуанга можно узнать по основному докладу на конференции GPU Technology Conference на этой неделе.

292 0 850 2
44
2021-04-16
Кто нибудь убейте этих разработчиков в NVIDIA они лишат 3д шников работы рано или поздно!
2021-04-17
Vlad VladКто нибудь убейте этих разработчиков в NVIDIA они лишат 3д шников работы рано или поздно!

не лишат, не переживай. Все эти алгоритмы конечно заменят часть моделлеров, тех что делают простенькие модели, но точное и сложное моделирование вряд ли, даже в относительно далеком будущем.
2021-04-17
Батырхан Жанарстанов (tetriandoh)
не лишат, не переживай. Все эти алгоритмы конечно заменят часть моделлеров, тех что делают простенькие модели, но точное и сложное моделирование вряд ли, даже в относительно далеком будущем.

Для точного и сложного моделирования в любом случае фотографии будет мало, нужно много других данных, чертежи и т.п. Так что это не в будущем, а никогда, даже для человека.
2021-04-17
Vlad VladКто нибудь убейте этих разработчиков в NVIDIA они лишат 3д шников работы рано или поздно!

Это прогресс, его не остановить :-)
2021-04-17
Батырхан Жанарстанов (tetriandoh)
не лишат, не переживай. Все эти алгоритмы конечно заменят часть моделлеров, тех что делают простенькие модели, но точное и сложное моделирование вряд ли, даже в относительно далеком будущем.


Глорфиндейл Боромиевич
Для точного и сложного моделирования в любом случае фотографии будет мало, нужно много других данных, чертежи и т.п. Так что это не в будущем, а никогда, даже для человека.

Точно так же бы сказали люди 5-10 лет назад, если бы им рассказали о создании 3д из 2д. Вы граждане узко мыслите, это невозможно только с точки зрения имеющихся на данный момент инструментов, через 4-5 лет могут появится совершенно новые инструменты и новые возможности ИИ и тогда будет возможно еще больше.

Работники заводов начала 19 века, тоже не видели возможностей автоматизации и замены человека на производстве, потому, что не было роботизированных систем, предположить из существование было фантастикой, не было даже мыслей, что это реально осуществить, такое бы в голову никому не пришло. А сейчас могут работать целые заводы с небольшой командой инженеров и ремонтников, да пока узкоспециализированные, но и на обычных уже масса роботов ускоряет работы. Так что не надо говорить — никогда!
2021-04-17
всё, мы не нужны =D
2021-04-17
Лучше бы нвидиа решила проблему с майнерами и отсутствием видеокарт
2021-04-17
Мятный Лакей


Точно так же бы сказали люди 5-10 лет назад, если бы им рассказали о создании 3д из 2д. Вы граждане узко мыслите, это невозможно только с точки зрения имеющихся на данный момент инструментов, через 4-5 лет могут появится совершенно новые инструменты и новые возможности ИИ и тогда будет возможно еще больше.

Работники заводов начала 19 века, тоже не видели возможностей автоматизации и замены человека на производстве, потому, что не было роботизированных систем, предположить из существование было фантастикой, не было даже мыслей, что это реально осуществить, такое бы в голову никому не пришло. А сейчас могут работать целые заводы с небольшой командой инженеров и ремонтников, да пока узкоспециализированные, но и на обычных уже масса роботов ускоряет работы. Так что не надо говорить — никогда!

Я и не сомневаюсь в прогрессе. Но речь про точность. Никто не сможет точно смоделировать автомобиль по фотографии, не обращаясь к другим данным, например чертежам данной модели. Просто потому что на фотографии недостаточно информации, это лишь проекция геометрии, ограниченная ракурсом и количеством пикселей. AI с этим не справится, человек тоже. Никогда.
Для успешного выполнения работы им придётся собирать больше данных.

А вот для ряда черновых или художественных работ AI вполне заменит человека очень скоро, отчасти это произошло даже сейчас.
2021-04-17
А смысл?
2021-04-17
Виталий, Пчёлы против мёда не пойдут :)
2021-04-17
Николай, там такая сетка, что можно не волноваться )))) Трудись.
2021-04-17
Кококок теперь моделлеры не нужны кококок
2021-04-17
Виталий, а какие проблемы у нвидиа, их продукт хорошо раскупается, а то что у конкретно тебя нет видеокарты, им пофиг
2021-04-17
Александр, как раз таки, это проблема не только моя, а большинства пользователей ПК, и причина тому, не введение блокировки для майнинга на видеокартах, в связи с чем, следующие создали дефицит видеокарт, и рост цен в 3.5 раза выше рекомендуемой. Только нвидиа плотностью сама виновата в этом, своей политикой отвратительной, К слову, лучше бы она развивала собственное производство, а не скидывала на oem контракты производство видеокарт
2021-04-17
Мятный Лакей же бы сказали люди 5-10 лет назад, если бы им рассказали о создании 3д из 2д. Вы граждане узко мыслите, это невозможно только с точки зрения имеющихся на данный момент инструментов, через 4-5 лет могут появится совершенно новые инструменты и новые возможности ИИ и тогда будет возможно еще больше.

Всегда считал, что здоровый скептицизм - признак здорового ума. А оно вон как - верьте, да будет так.
Мятный ЛакейРаботники заводов начала 19 века, тоже не видели возможностей автоматизации и замены человека на производстве, потому, что не было роботизированных систем, предположить из существование было фантастикой, не было даже мыслей, что это реально осуществить, такое бы в голову никому не пришло. А сейчас могут работать целые заводы с небольшой командой инженеров и ремонтников, да пока узкоспециализированные, но и на обычных уже масса роботов ускоряет работы. Так что не надо говорить — никогда!

Развились не только заводы - сами вещи стали унифицированными, перестали быть уникальными. Ничего не мешает сделать тоже самое с 3D, это уже произошло - все эти генераторы растительности, персонажей, террейнов, текстур и прочего - все давно работает в полуавтоматическом режиме.

Но, как и на роботизированном заводе, шаг влево/шаг вправо - и все, приехали. Поэтому художники никогда не исчезнуть - они создают то, что нельзя отдать алгоритмам(по крайней мере, нельзя на практике - в теории оно конечно можно все - там ведь материальный вопрос на последнем месте)
2021-04-17
Виталий, если бы не скидывала на oem, то видеокарты и без дефицита подорожали бы существенно)
2021-04-17
https://vk.com/alex_solovov?w=wall319787666_681
2021-04-17
Виталий, ага, ИИ невидии как просекет про майнинг, забросит рисование машинок и сам начнёт майнить эфир. Ибо нафиг нвидию и её машинки)
2021-04-17
Виталий, это тебе плохо, а компании хорошо, ибо майнинг - это чёрная дыра, сколько бы видеокарт не делалось, всё канет в лету и ещё будет недостаток. Это хорошая иллюстрация того, что рыночек ставит превыше всего не потребности людей, а прибыль.
2021-04-17
Виталий, нет никакой проблемы с майнерам. Если вы 3д спец - радуйтесь - дешовое железо удешевляет ваш труд, снижает порог вхождения усиливает конкуренцию итп итд.
2021-04-17
Эдуард, ммм, соцдарвинизм.
2021-04-17
Argonavt, так может он такой сеткой зарабатывал ;)
2021-04-17
пф, какие 5 лет) это 2 года максимум и можно на завод идти) нейросеть быстро разрулит вопрос, так что не надо тут утешать себя сложными моделями, если мы в голове можем создать образ объекта то для нейросети это вообще не будет проблемой, с любой детализацией
2021-04-17
Игорь, не в курсе тонкостей этой теории. Рассуждаю как практик 3д с прошлого века. Когда можно было заработать на квартиру отрендерив парочку летающих золотых логотипов на фоне космоса. Но чтобы иметь такую возможность нужно было обладать железом в цену такой квартиры. Сейчас такой логотип делается "бесплатно за портфолио" скачивается в виде пресета темплейта итп итд. А чтоб заработать на квартиру 3д графикой нужно пахать лет 10, при условии что вы спец выше среднего. Поэтому нынешнее нытье за дороговизну железа вызывает ухмылку.
2021-04-17
Игорь, рынок это и есть потребности людей. Потребности майнеров выше ваших - только и всего.
2021-04-17
Наконец-то криворукими дебилами которые не могут выполнить заё** заказчика будет ИИ))
2021-04-17
Argonavt, через неделю UPD от нивидии: "а теперь и с сеткой✨"
2021-04-17
Сетка будет такая же убогая как после скана
2021-04-17
Передайте там инженерам НВидии, пусть в перерывах между революциями сделают что нить с авторетопом и автоUV.
2021-04-17
Виталий ОлдинскийЛучше бы нвидиа решила проблему с майнерами и отсутствием видеокарт

А никто не задумывался: может Нвидиа сама майнит? По этому и дефицит видеокарт... Мне кажется рядом с заводом TSMC, стоит большой склад на несколько гектар и майнит крипту. А вот кому принадлежит этот склад, большой вопрос))
2021-04-18
Argonavt, я профст рофлю и еще не имею навыка для "зарабатывать" но тут и так видно, что это треш как с кривой фотограметрией. А про шейдинг можно даже не говорить)
2021-04-18
НУ и что вы впали в уныние, господа? С появлением фотографии, живописцы не вымерли. С изобретением 3д-сканеров, скульпторы не померли с голоду.
Да через 5-6 лет, заказов типа "смоделируйте по фото" не будет. Но разработка моделей под конкретные задачи не исчезнет.
2021-04-18
Алексей Раух (Dreiser)С появлением фотографии, живописцы не вымерли.
Как не вымерли, вымерли конечно, сейчас их очень мало, по сравнению с тем, сколько было.


Алексей Раух (Dreiser)С изобретением 3д-сканеров, скульпторы не померли с голоду.
Во первых скульпторы и сканеры не особо близко, но скульптура загибается сама по себе, ее убирают как дисциплину в художественных вузах, что особенно обидно.


Алексей Раух (Dreiser)Да через 5-6 лет, заказов типа "смоделируйте по фото" не будет. Но разработка моделей под конкретные задачи не исчезнет.
Она не исчезнет, она сократится настолько сильно, что вместо миллионов моделлеров, нужны будут тысячи.
2021-04-20
Pyramid HeadСетка будет такая же убогая как после скана

А ты можешь указать на ее существенные недостатки, кроме низкого числа полигонов?
2021-04-22
Глорфиндейл Боромиевич
Я и не сомневаюсь в прогрессе. Но речь про точность. Никто не сможет точно смоделировать автомобиль по фотографии, не обращаясь к другим данным, например чертежам данной модели. Просто потому что на фотографии недостаточно информации, это лишь проекция геометрии, ограниченная ракурсом и количеством пикселей. AI с этим не справится, человек тоже. Никогда.
Для успешного выполнения работы им придётся собирать больше данных.

А вот для ряда черновых или художественных работ AI вполне заменит человека очень скоро, отчасти это произошло даже сейчас.

А в чем проблема поставить такую задачу ИИ? Предположим, в ИИ загружают картинку, далее он определяет модель и марку (вообще не проблема реализовать), далее сам условно гуглит все размеры, чертежи и т.п. (Nvidia достаточно договориться с производителями авто для создания своей собственной базы данных и вуаля, даже гуглить не потребуется) и после этого собирает модель ровно той детализации (хоть до цвета и фактуры нитки в обивке кресел), которую по доп. опциям указал пользователь. Причем, при таком подходе, чем больше будет работать сервис, тем больше будет фряшных и условно фряшных моделей, которые были ранее созданы по предыдущим оплаченным заказам.
2021-04-22
Алексей Раух (Dreiser)Да через 5-6 лет, заказов типа "смоделируйте по фото" не будет.

Всё будет точно так же). Практически нет смысла "модели по фото" без какого-то дальнейшего использования её в каких то узкоприкладных целях. Нюансы сетки (и прочего) под какой то кастомный риг всегда разные, и каждый раз "объяснять" машине нет никакого практического смысла (времени и средств). Хороший спец это сделает точно и быстро, учитывая все нюансы и пожелания.
За 15 лет ничего принципиально в 3д не поменялось. Как моделили (анимировали, ригали) "ручками", так и сейчас всё так же. Даже в самых продвинутых студиях. Все эти "улучшайзеры" лишь облегчили некоторые этапы работ и не более того.
Да, рендер стал быстрее, компы мощнее, инструменты удобнее, и всё.
Мокап вон с прошлого века существует. Однако (на нормальных проектах_) его используют лишь как 3д референс, в чистом виде его юзать - моветон. Сканы давным давно существуют - моделеры никуда не делись. Авторигов полно, однако (на нормальных проектах_) создаются кастомные риги под конкретные задачи.
Весь этот хайп вокруг ИИ создан его разработчиками, дабы выбивать инвестиции. Нет пока никакого серьезного практического выхлопа, кроме распознавания картинок. И то....обучать его - тоже люди нужны.(+ время и средства)
ИИ - дело хорошее, пусть развивается. Но придавать ему первостепенное значение - могут только подростки и дилетанты.
Даже такой адепт ИИ, как Цыпцын, и тот неоднократно говорит в интервью об этом.
PS Компам уже полвека+, однако в каждой конторе сидят бухгалтеры- люди))). Какой ИИ?)
2021-04-22
Мятный Лакей Как не вымерли, вымерли конечно, сейчас их очень мало, по сравнению с тем, сколько было.
Вымерли живописцы "ремесленники", и то не до конца. Зато живопись благодаря появлению фотографии ушла в чистое творчество - импрессионизм, абстракционизм, поп-арт и т.д., настоящая революция в живописи случилась.
2021-04-22
Y_S Зато живопись благодаря появлению фотографии ушла в чистое творчество - импрессионизм, абстракционизм, поп-арт и т.д., настоящая революция в живописи случилась.

Да и теперь мазьня за 2 минуты на холсте стоит десятки миллионов долларов, на продажу появилось дерьмо художников в банках, люди пьют и употребляют краску и испражняются ей на холсты и все это продается. Этого творчество? 95% этого творчества может сделать любой человек у которого есть краска и холст, рисовать уметь не нужно, даже кисточка не нужна. Все эти люди не умеют рисовать вообще, от слова совсем, это убило искусство и на его месте возник ужасный уродец.
2021-04-22
Мятный Лакей
люди пьют и употребляют краску и испражняются ей на холсты и все это продается. Этого творчество?

Так-то я Моне или Ван Гога имел ввиду.
2021-04-22
Y_S
Так-то я Моне или Ван Гога имел ввиду.

Но в итоге сейчас мы получили другое, искусство мутировало в эпатаж и дичь, а люди умеющие рисовать особо никому не нужны, 99% картин стоящие десятки миллионов, это мазня по холсту от людей, не умеющих рисовать.
2021-04-23
развивать нужно свои художественные навыки, ИИ это пока что не заменит
2021-04-23
Мятный ЛакейЭтого творчество? 95% этого творчества может сделать любой человек у которого есть краска и холст, рисовать уметь не нужно, даже кисточка не нужна.

Нарисовать черный квадрат также не сложно, но не у каждого получится то самое творчество или даже искусство.
2021-04-27
Дмитрий Волков
Нарисовать черный квадрат также не сложно, но не у каждого получится то самое творчество или даже искусство.

А почему вы отнесли черный квадрат к искусству? Он никакого отношения к нему не имеет, квадрат был вызовом устоям, проверкой на вшивость, скажут люди — ребята, вы обалдели? или начнут восхвалять все что угодно, проверкой, что может "прокатить" за творчество.

То, что сейчас постепенно заменяет искусство, это просто сказка "О голом Короле", когда все понимали, что одежды нет, но продолжали восхищаться, так как всем сказали, что только ничего не понимающие и не образованные люди не видят ничего, а сведущие сразу увидят и прекрасный материал и великолепное королевское платье.
2021-05-11
Мятный ЛакейА почему вы отнесли черный квадрат к искусству? Он никакого отношения к нему не имеет,

Почему так сложно почитать про этот черный квадрат? И вообще про современное искуство? Многие бы вопросы отпали.
Малевич произвел революцию, показал, что пора нам, господа, найти другой путь, а не делать работу фотоаппарата.
RENDER.RU