Хроники Siggraph 2019. Лос Анджелес, жара и бродяги.
Прошлогоднюю статью можно почитать тут, а здесь свежие впечатления от последнего Сигграфа, который только что закончился в Лос Анджелесе.
Напомню, что Сигграф проходит в Лос Анджелесе каждый второй (нечетный) год. А по четным годам выезжает в другие города и даже страны (Канада only). В Лос Анджелесе традиционно больше народа (ехать недалеко), но место проведения по сравнению с курортным Ванкувером – жесть. Даунтаун – жара, пробки, бомжи и бродяги (мирные в прочем), бетонные джунгли, космические ценники и ад с парковками. Тем не менее, все колются, но продолжают ехать сюда, ибо ЛА – это пока центр притяжения для мировой CG-индустрии.
Попробую пройтись крупными мазками, концентрируясь на общих трендах, а не на цифрах версий и списках фич. Позволю себе немного авторитарной и безответственной аналитики.
Тренды в этом году следующие: реалтайм, игровые движки в постпродакшене, ИИ, облака и повсеместный RTX Studio от Nvidia. Начнем с движков.
Виртуальный продакшен и игровые движки.
Одна из популярных тем этого года - виртуальный продакшен, который был немного сужен до вполне конкретной темы - использование игровых движков в кинопроизводстве. Хедлайнером и мейнплеером этой темы был новый "Король Лев". Была отличная лекция Роба Легато, супервайзера визуальных эффектов, где он рассказывал о том, как принципиально меняются технологии и само мышление при переходе от живого к виртуальному продакшену (я ее снял с коленки и закинул к себе в ютюб канал).
Главные игроки на этом поле (помимо железных прибабахов) - игровые движки, Unity и UE4. Именно на их базе строятся решения для ВП. Пока только движки движки могут выдавать картинку вменяемого качества в реальном времени (30fps). Год назад я видел решение на базе V-Ray GPU - и это был, конечно не реалтайм. Также движки позволяют программировать очень многие вещи "на ходу", ведь новые задачи на съемочной площадке возникают буквально ежедневно. Забавно, что для операторов, дольщиков и многих других олдскульных профессионалов приходится писать, скажем так, кондовые интерфейсы, в точности повторяющие управление аналоговыми девайсами (иногда двадцатилетней давности), просто потому что они так привыкли работать. Так что большие черные кнопки с цифрами на них - типичный пример вершины UI/UX в вируальном продакшене.
Не обошлось без забавных курьезов. Эпик сделал умопомрачительный юзермитинг в одном из театров даунтауна, апофеозом которого стало выступление Джона Фавро, режиссера нового Короля Льва, Книги Джунглей, Железного человека и др. Джон топил за виртуальный продакшен со сцены мероприятия Эпик, в то время как на Короле Льве основным рабочим движком был Unity.
Но надо сказать, что пока виртуальный продакшен - это огромные бюджеты, армии программеров и ежесекундный R&D. Никаких решений из коробки, никаких полуготовых решений, каждый раз - новая история. Интересная деталь - Роб Легато сказал, что на площадке работало 17 технических программистов, которые следили за тем, чтобы все работало как надо.
Также нало отметить, что стенды Unity и Epic были одими из центральных на Сигграфе - и это при том, что Сигграф ни разу не игровая конференция. И на обоих стендах педалировались решения именно для кинопроизводства и применения движков за пределами игр. Так что движки в ближайший год будут активно лезть на поляну традиционных поспродакшен пайплайнов, расталкивая олдскульных игроков реалтаймовой картинкой. Последние ролики от UE4 и Unity - тому подтверждение.
Массовый RTX и медленная рендер-революция.
В прошлом году Nvidia просто взорвала Сигграф в Ванкувере, аносировав новую архитектуру Turing и новую линейку видеокарт RTX, или, если быть более конкретным, поддержку расчета рейтрейсинга на видеокартах с помощью ядер RT Cores, которые как раз и располагаются на картах серии RTX.
Многие разработчики рендереров сразу анонсировали скорейшую поддержку RTX и RT Cores в грядущих версиях своих продуктов, некоторые обещали бета-версии к рождеству. Как выяснилось, надо было уточнять, к какому рождеству, ибо, похоже, что реальные беты появятся именно к рождеству 2019.
Переход на поддержку RTX оказался не такой простой задачей. Для GPU рендеров типа Октана, Редшифта или Вирея – это означало переход с Cuda на Optix – новый интерфейс для работы с «нутром» видеокарты (здесь упрощаю для краткости). Для CPU рендеров типа Арнольда, Рендермана и даже Кишота – это означало принудительное создание GPU версии традиционного рендерера. Конечно и Арнольд и Рендерман уже встраивали GPU-ускорение некоторых фишек типа денойза в свои продукты, но теперь на кону полная поддержка RTX, а следовательно полная поддержка GPU.
Похоже, что Nvidia удалось навязать поддержку RTX абсолютно всем – это огромный успех компании, в зеленые цвета которой было окрашено пол-Сигграфа.
Проще всего Октану и Редшифту. У них нет CPU-версий, точнее, им нет нужды сравнивать картинки, посчитанные на CPU и GPU. Обе компании обещают публичные беты «вот-вот-уже-скоро». Обе говорят о приросте до 3-5 раз за счет использования RTX (конечно оговаривая зависимость от конкретной сцены (тут напомню, что рейтрейсинг ускоряется не целиком, а только один его этап, связанные с рейкастингом).
Октан также показал коннекты с Unity и UE4 – для офлайнового рендеринга сцен из движков с «продакшен качеством». Год назад это сделала Chaos Group, выпустив V-Ray for UE4.
Сама Chaos Group продвинулась, похоже, дальше всех в плане поддержки RTX. У V-Ray более скромные (реалистичные?) оценки ускорения за счет RTX – до
70%. Но уже есть динамическая загрузка текстур (экономия памяти, которой на видеокарте кот наплакал), и в грядущем kernel 3 уже ожидается out-of-core – динамическая загрузка выгрузка геометрии, чего пока никто не делает.
Также компания анонсировала V-Ray for Houdini.
Арнольд честно рассказал про свои планы – сделать CPU и GPU версии неразличимыми по картинке (что справедливо для всех рендереров), показал версию 5.4, динамические texture on demand и пообещал бету с поддержкой RTX. Анонсировал OSL and OpenVDB support.
Консервативнее всех выступил Pixar, заявив, что они будут допиливать свой Renderman XPU (то есть гибридный рендер, способный считать на CPU и GPU одновременно) столько, сколько потребуется для поддержки всех рендермановских фич, а не только геометрии и денойза. Они, кстати, компрессируют геометрию перед тем как засунуть ее в память видеокарты, которой всегда мало. И таки да, поддержка RTX требует жертв. А именно, необходимости держать в уме ограниченный объем видеопамяти.
Тут я хочу напомнить про закон Джима Блинна (того самого чьим именем назван шейдер Blinn). Время рендера одного кадра не меняется со времением и не зависит от текущего развития софта железа.
Иначе говоря, оно определяется аппетитами создателей кадра, которым всегда мало.
На Renderman Art & Science Fair показывали немного статистики.
В первой Корпорации Монстров у Салливана было 2 миллиона волос(кривых).
В четвертой Истории Игрушек счет пошел на миллиарды (листьев):
И даже на триллионы:
Похоже, что никаких железок не хватит, чтобы отрендерить всю нашу вселенную. Но вопрос, надо ли? Может быть пора просто рассказывать истории, а не гнаться на количеством и качеством?
А Пиксар тем временем рассказывал, что даже пыль они теперь рендерят кривыми…
RTX Studio - наводим ясность.
Незадолго до Сигграфа Nvidia анонсировала новый, скажем так, технологический бренд, RTX Studio. Название немного сбивало с толку - обычно постфикс Studio прибавляют к некоему софтверному набору или даже программно-аппаратному комплексу. Здесь же все иначе, это скорее концепция, нежели конкретный продукт (хотя можно также назвать это линейкой продуктов, объединенной единой концепцией). По-прежнему непонятно? Тогда попробую объяснить на примере двух простых тезисов.
Тезис 1. Помните термин "игровые ноутбуки"? Вроде все понятно. А теперь представьте, то это "студийные ноутбуки" или "ноуты для создания эффектов, анимации и монтажа". То есть игровые лаптопы люди покупают, чтобы играть в игры. Более того, до недавнего времени, все кто хотел заниматься нелегким постпродакшеном на ноутбуке, тоже выбирали конские игровые ноуты - там были нормальные видеокарты, объем памяти и пр.
А теперь, специально для них, тружеников 3D, 2D и Cinema 4D, производители лаптопов делают специальную линейку - RTX Studio. То есть теперь наряду с игровыми ноутами, есть специальные ноуты для постпродакшена. У большинства производителей ноутбуков. А не у одного, конкретного.
Так и в чем отличия, спросите вы? Продолжаем разбираться.
Во-первых, все машинки из этой категории (неплохое слово, хотя немного узкое) достаточно компактные, в отличие от игровых гробов. То есть налицо довольно солидное R&D по впихиванию мощного железа в тонкие корпуса.
Во-вторых, они не сильно греются. Реально. Я перещупал половину RTХ Studio машинок на стенде Nvidia, которые молотили свои демонстративно монструозные задачи - они были теплыми, но не истерично горячими. И не визжали вентиляторами, как их раскаленные игровые собратья-кирпичи.
Это внешние отличия, теперь идем внутрь.
В-третьих, драйвера с неожиданным название Studio Driver.
Нет, это не специальный драйвер, разблокирующий секретные фишки новых видеокарт или ускоряющий некоторые операции. Его идея в железобетонной совместимости с постпродакшен софтами. Объясню подробнее. Вот вы ставите свежий драйвер на свой игровой ноут, и тут вдруг в Майе (например) появляются легкие глюки, ибо свежий драйвер пилили с прицелом на игровые приложения и по дороге "обидели" майские фичи (неспециально!). Вот и ходят в народе списки надежных версий драйверов.
А Studio Driver как раз обкатывают на постпродакшен софтах, список которых потихоньку расширяется. Сейчас в описании драйвера числятся: optimal experience for the latest releases of top creative apps, including Magix VEGAS Pro v17, Autodesk Arnold, Allegorithmic Substance Painter 2019.2, Blender 2.80, Cinema 4D R21, and Otoy Octane Render 2019.2.
Именно поэтому он будет обновляться не так часто (раз в 2-3 месяца), но все обновления будут "вылизаны" и оптимизированы именно под нужные софты, а не под игры. То бишь накатили новый драйвер - все стало малость побыстрее, но ничего не порушилось. Это идея Studio Driver.
В-четвертых, Studio Driver разблокирует одну фишку: The new Studio driver finally brings 30-bit (10bpc) color support in OpenGL applications to GeForce and Titan GPUs. Насколько я понимаю, раньше десятибитный цвет на канал был прерогативой Квадры. Теперь эта монополия исчезает. (Тут стоит ехидно заметить, что АМД поддерживает 10 бит на канал уже давно).
В-пятых, судя по самой концепции RTX Studio, разница между Quadro и GeForce окончательно нивелируется. Нет больше манифестаций типа "квадры более холодные" или "квадры более надежные". В линейке Studio встречаются или Квадры и Джифорсы, без указания на разницу в температуре или надежности. Объем памяти решает. Ну и если кому-то нужна двойная точность в работе с плавающей точкой... Которая малость тормозит вычисления. В общем, каждый выбирает теперь строго по нужной начинке. Сколько вычислительной «дури» ему надо.
В-шестых, Studio - это референсная концепция, и ноутбуки с гордым названием RTX Studio делают более десяти (пока) производителей. От китайцев до.. некитайцев. Соответственно, в отличие от монобренда на букву А, есть пространство для конкуренции, вариативности, борьбы за покупателя и прогресса как в области цен, так и в области развития.
Ну и в седьмых, там конечно поддержка RT Cores, AI Cores и прочих RTX плюшек, но это не прерогатива линии Studio, это просто бонус по дефолту для всех обладателей RTX карт.
Ну а теперь тезис номер 2.
RTX Studio - это ехидный ответ и довольно таки амбициозное желание утереть нос бренду на букву А, который застрял в монокультуре и пытается рассказывать все, что такое креативные ноутбуки. С видеокартами АМД, без поддержки Куда и смешными хипстерскими погремушками. В этом смысле новые ноуты уделывают макбуки как тузик сами знаете кого. Я как double switcher (pc-mac-pc), могу только порадоваться за возможность выбирать свою модель и бренд, а не брать, что дают.
Про цены пока не скажу, надо промониторить, знаю лишь только что в OLDI уже завезли некоторые модели, можно глянуть у них. А Дима Чехлов уже добрался до тестов.
Autodesk Bifrost. Разочарование года.
Похоже, откладывать больше было некуда и разработчикам была поставлена задача выпустить 31 июля хоть какую-то версию. Ее назвали Bifrost Episode 1. Сказали, что точно будет еще минимум два эпизода. При этом не было мощных демо с новыми фичами или подробного разбора новых возможностей. Пара юзер-кейсов и странное заявление, что Бифрост еще во многом не готов для полноценного продакшена. А именно, в нем нет твердых тел, процедурного моделинга, разрушений, рейкастинг вычислений, работы с объемами и булеанами и еще много чего.
Разработка Бифроста, который именуется Maya’s new visual programming environment, ведется чудовищно медленными темпами, хотя его очень быстрое ядро и шикарная интеграция с рендеринг вьюпортом довольно сильно обгоняют любые подобные решения у конкурентов. Отчего обидно вдвойне. Ждем декабря, Autodesk обещал прислать кого-то на CG EVENT, рассказать про Бифрост и Арнольд подробнее.
Было много про Maya, упор на анимацию и риггинг, ускорение работы с ригом, кеширование анимации, ставка на реалтайм, уход от playblast, Substance plugin. Наконец-то стали фиксить баги и сосредоточились на анимации.
ИИ
Зато Автодеск продемонстрировал потрясающие наработки в области ИИ. Представьте, что вы отрендерили миллион картинок с beauty pass (сама картинка) и тучей AOV (спекуляром, дифьюзом, нормалями, глубиной). А потом скормили все это нейросети – вот сама картинка, а вот дополнительная информация про нее – все эти каналы с AOV (arbitrary output values). Потом даем нейросетке любое фото и говорим: «давай, дорогая, вытащи из картинки нормали и спекуляры вот на этом объекте. Если хорошо обучить – вытащит.
Именно это было продемонстрировано на примере Autodesk Flame 2020. Нейросеть которого обучили вытаскивать нормали на конкретных объектах – лицах (ибо бьютификация занимает огромную долю работы, производимой с помощью Flame – дорогая реклама). Теперь система распознает лица и вытаскивает нормали и прочую информацию из кадра. Просто на основе картинки – набора пикселей(!).
Еще один классный проект от Autodesk – AI UV – или автоматическая развертка с помощью нейросеток. Взяли стопитсот моделей с Турбосквид (моделей с развертками, естественно) и стали учить нейросеть: вот модель, а вот ее UV. И так много раз. Потом дали модель и сказали: «давай UV». Результат – гораздо лучше, чем любой Auto UV. На порядок. Совсем забавным было обсуждение «style transfer» в области создания разверток: возможности копировать стиль разверток с одного набора моделей на другой.
А совсем фантастически звучала идея брать фотографию-референс конретного эффекта (взрыва, например) и просить обученную на взрывах нейросеть подобрать Bifrost asset, который симулирует похожий взрыв. В общем сессия Autodesk AI порадовала, но увидим ли мы это в ближайшем будущем (кроме Flame 2020) – неясно.
Еще ИИ
Тема нейросеток и ИИ была не просто горячей – про ИИ говорили на каждом углу. Все аудитории с упоминанием AI в названии выступления были полными. Ну и надо сказать, что именно для генерации контента и работы с изображениями, ИИ подходит очень неплохо, чего не скажешь про другие области деятельности. Данных для обучения много, методы развиваются быстро. Да, есть вопросы к качеству данных, но тут как раз индустрия может помочь. Если данные из Tumblr или Ютюба – достаточно «грязные» (что не мешает многим проектам на них обучаться), то отрендеренные изображения и видео могут давать картинку отличного качества с тучей метаинформации, на которой можно проводить обучение (см. выше про Autodesk).
Например, для обучения self-driving cars не хватает фото- и видео-съемок, поэтому в Unity строятся города, по улицам которых ездят машинки с камерами – и видео с этих камер (то есть вьюпорт) используется для разметки данных (здания, деревья, тупые пешеходы, баран за рулем). Таким образом, наша креативная индустрия активно работает, чтобы накормить нейросети, решающие совсем другие задачи. Звучит цинично, но CG (и особенно VFX) всегда была (по большей части) сервисом для других индустрий.
Мне также запомнилась демонстрация DaVinci Resolve Neural Engine AI processing. Нейросетка распознает лицо на видео и «параметризует» - у вас появляются рульки для губ и глаз (можно перекрасить), мешков под глазами(!) – можно убрать, и для других «параметров» лица. Для всей секвенции. Также Resolve лихо удаляет объекты из кадра и с помощью ИИ заливает «дырки» под ними, анализируя бекграунд. Примерно такое же content aware удаление показывал Adobe.
На стенде Nvidia можно было интерактивно порисовать с помощью GauGan на вакомах, однако на мой вопрос, какова дальнейшая судьба этой разработки никто не смог ответить.
Облака
Амазон активно зазывал всех в облако, призывая не тратить деньги на аренду помещения и электричество, а вместо этого просто арендовать рабочие станции любой мощности и делать «студию в облаке». Правда, с прошлого года ничего не поменялось в области программного обеспечения. Когда я спросил, могу ли я арендовать станцию с предустановленным софтом, но ответ был «приносите софт с собой». Амазон не можен пока договориться ни с одним производителем ПО (кроме рендеринга с его pay as you go), чтобы организовать поминутную тарификацию использования, например, Maya на арендованной машине. В идеале я бы хотел видеть рабочее место в сети, где я могу выбирать не только память и процессор, а также набор нужного софта и платить за использование его, как я плачу за время разговора по телефону. Кстати, фантастически удобно оказалось перемещаться по Лос Анджелесу на электрических самокатах (Lime, Bird, Lyft и даже Uber), разблокируешь с телефона, едешь как рекс, платишь посекундно, бросаешь в любом месте, блокируешь с телефона. Вот так должен работать софт в облаке!
V-Ray Cloud был представлен во все красе на выездной сессии Total Chaos от Chaos Group. У них не было стенда, но были два дня непрерывных докладов. Там же были выступления Vlado in Renderland и другие секретные презентации.
Облачная модель потихоньку вползает в жизнь. Аренда железа будет дешеветь, а вот само железо уже нет, равно как и электричество. Более того, появляются решения следующего поколения, типа RaysRender, которые позволяют считать в «тумане» (Fog Computing), то есть не на централизованных серверах Гугл или Амазон, а на компьютерах пользователей (от майнеров до геймеров), коих сотни тысяч, что в разы дешевле и нет проблем с доступностью ресурсов (весь мир, грубо говоря). Децентрализованный рендеринг в действии.
Разное
Maxon представили Cinema 4D Release 21, сообщил о переходе на один единственный продукт (без всяких бродкастов и пр), и ввели возможность подписки (около 60$ в месяц, если платить за год). Конечно, после R20 удивить пользователей было гораздо сложнее. Список фич поскромнее, но скажу по секрету, основные бомбические новости будут в R22 и не только в виде фич.
Также бомбическая новость ждет всех моушен-дизайнеров в москве зимой. После Andrew Kramer удивить аудиторию сложно, но я попытаюсь =)
Intel, в отличие от AMD которая прямолинейно показывала крутые железки, отгрохала огромный стенд Intel Create, где демонстрировала сервисные решения Intel Studios(!) и Intel Sports. Компания строит огромные купола с хромакеем изнутри, где 96 камер (разрешение 5К) снимают любое безобразие, творящееся внутри, а софт сшивает это и фотограмметрически превращает это в 3D(!). На лету. В купол помещаются кони, люди, армии и небольшие поселения. Это промышленное 3Д-сканирование, motion capture и виртуальная студия конских размеров в одном гигантском флаконе. Сделано для быстрого создания огромных виртуальных миров, живых 3Д-шоу и интерактивных трансляций. Впечатляет.
Magic Leap не оправдал надежд. Я попробовал. Качество так себе. Исполнение тоже. Точка.
Нереально порадовал Рома Белов, который второй год подряд ставит стенд Keen Tools на Сигграфе и отбивается там от потенциальных клиентов. Его Geo Tracker и Face Tracker/Builder (плагины для NUKE) уже активно пользуют самые крупные канадские и американские студии, ибо аналогов этих продуктов нет.
Также порадовали ребята из Жи-Ши Продакшен (Артем и Наиль), с которыми я делил креативный лофт в трущобах даунтауна – они успевали не только наводить мосты с зарубежными коллегами, но и кататься на серфе, ездить в горы, играть в баскетбол с афроамериканцами в Беверли Хиллс и делать еще много безумных вещей. Жизнь не ограничена рамками монитора!
Кстати, я буду рассказывать про Сигграф без купюр и политкорректностей на грядущем CG EVENT KIEV, который состоится 22 сентября. А свалка из репортажных роликов валяется у меня на канале. Подписывайтесь, буду туда вываливать мои мысли по поводу развития нашей индустрии.