Что такое фотограмметрия: как технологию применяют в играх и кино
Фотограмметрия переносит объекты из реальной жизни в трёхмерные миры с поразительной точностью. Ландшафты локаций покрываются правдоподобными деталями, персонажи обретают лица голливудских актёров, а предметы интерьера — реалистичные текстуры. Разбираемся, как работает технология и чем она отличается от обычного 3D-сканирования. С примерами из Call of Duty, Star Wars: Battlefront и, внезапно, Forbidden Siren.
Немного истории
Фотограмметрия появилась в середине XIX века вместе с изобретением фотографии. Это научно-техническая дисциплина, которая занимается определением форм, положения и размеров по изображениям. В основном это фотографии одного статичного объекта, снятые с разных ракурсов и положений.
Дальше в дело вступает математика и алгоритмы. Объект, его симметрию и расстояние до камеры тщательно изучают и вычисляют пространственные координаты. Целей две: первая заключается в доскональном изучении именно объекта, а вторая – в возможности его реконструкции и реконструкции его окружения.
Изначально фотограмметрию использовали для создания и уточнения топографических карт, фотодокументов, планов и проектов зданий, изучения природных явлений и даже мест преступлений во время полицейских расследований. В дисциплине существует два направления. Фототопография занимается созданием карт и планов Земли, а наземная или прикладная фотограмметрия решает задачи в архитектуре, медицине и криминалистике.
Во время пандемии COVID-19 Национальный музей американской истории в Вашингтоне и другие музеи по всему миру использовали фотограмметрию, чтобы сделать культурное наследие доступнее для изолированных людей.
Скульптуры и картины сканировали, чтобы получить 3D-модели. Затем их объединяли в коллекции и выкладывали в публичный доступ. Любой желающий мог зайти и устроить себе виртуальную экскурсию не выходя из дома — крутить и рассматривать объекты искусства в браузере, фоном слушая аудиогид.
В разработке игр и кинопроизводстве фотограмметрию тоже используют. Она решает сразу две проблемы: делает итоговую картинку реалистичнее и экономит время на производство.
Протофотограмметрия в играх 2000-х
Работа с множеством фотографий не нова для видеоигр. В 90-х, когда компания Sony популяризировала 3D-графику и сделала её стандартом, разработчики начали пользоваться фототекстурами. Правда, в отличие от фотограмметрии, в результате которой получаются готовые модели, у художников 90-х получались плоские изображения, которые потом нужно было «натянуть» на модели, созданные вручную.
Яркий пример — оригинальная Silent Hill. Японцы из Team Silent поехали в США за фотореференсами и текстурами. Полученные материалы использовали в качестве референсов для создания правильного настроения игры и накладывали фототекстуры на модели. Просто их переводили в разрешение 128x128 пикселей. «Королевские» 256х256 использовали только для текстур главных героев.
Подобный подход команда повторила при разработке Silent Hill 2 и Silent Hill 3. Фактурная пыль, ржавчина и потёртости рисовали не с нуля. Фототекстурами пользовались и другие разработчики. Авторы оригинальной Devil May Cry фотографировали готические замки в Европе, создатели Deadly Premonition перенесли по фото американский пригород, а разработчики S.T.A.L.K.E.R.: Shadow of Chernobyl — зону отчуждения Чернобыльской АЭС.
После успеха оригинальной Silent Hill руководитель разработки занялся новым ужастиком — Forbidden Siren. Его команда вновь отправилась в путешествие, но в этот раз по заброшенным деревням и опустевшим городам Японии. По итогу авторы не только наложили фототекстуры на тела персонажей и объекты окружения, но также использовали их для создания лиц героев и лицевой анимации.
Разработчики фотографировали актёров на камеру с разрешением 2 мегапикселя и покадрово фиксировали мимику их лиц в движении. Позже из этих кадров создавали последовательности, которые накладывали на 3D-модели. Скудное качество изображений и сложная система эффектов придали Forbidden Siren уникальный и устрашающий визуальный стиль, который пугает игроков даже сегодня.
Подобным подходом воспользовались авторы L.A. Noire в 2011-м. Только преследовали они другую цель. Вместо воссоздания реалистичного ужаса художники Team Bondi стремились передать мелкие детали послевоенной Америки 50-х. Авторы даже пригласили на главные роли голливудских актёров. Нюансы их мимики засняли с помощью технологии MotionScan и превратили в видеотекстуры.
Процесс был сложнее, чем в случае с Forbidden Siren. Мимику записывали в специальной комнате с ярким светом и множеством камер, которые располагались перед актёрами. Захват лиц происходил отдельно от захвата движений тела. Поэтому во время сеансов актёрам было запрещено сдвигаться с места, чтобы не испортить итоговую анимацию.
Как это работает?
Фотограмметрия в современном понимании — это техника, благодаря которой 3D-модели создают на основе множества фотографий одного и того же объекта с разных сторон. Сотни или даже тысячи снимков, которые специализированная программа соединяет в единый трёхмерный объект с помощью формирования облака точек.
Далее ПО переносит собранные данные на 3D-модель из полигонов-треугольников. Их в трёхмерной графике используют как основу для создания моделей. Чем больше полигонов, тем модель детализированнее. Вместе с детализацией возрастает нагрузка на видеокарту. Поэтому перед тем, как попасть в игру, все модели проходят долгий этап оптимизации. Можно сказать, что их искусственно ухудшают.
Среднее количество полигонов для основных персонажей актуальных ААА-блокбастеров — около 400 000. Это уже оптимизированные модели, которые авторы используют в игровом процессе — драках, исследовании мира и постановочных сценах. Многочисленным противникам главных героев приходится довольствоваться меньшим. Им выделяют в среднем по 100 000 полигонов на человека.
Модели, созданные при помощи фотограмметрии, состоят из десятков миллионов полигонов. Всё дело в деталях — ПО переносит с фото все нюансы и неровности, делая их частью моделей. Далее авторы намеренно снижают количество полигонов, чтобы прийти к нужным 400 000 без потерь в качестве.
В киноиндустрии модели тоже проходят через процесс оптимизации, но более щадящий. Неровности и детали в больших количествах — огромный плюс для картинки, которую будет рендерить не один ПК среднего потребителя, а рендер-ферма со связками передовых видеокарт.
Отличия фотограмметрии от 3D-сканирования
В 2000-х 3D-сканирование было сложным и дорогостоящим процессом, в рамках которого крупные компании пользовались дорогими лазерными датчиками.
В 2008-м студия Treyarch во время разработки шутера 007: Quantum of Solace посвятила отдельный рекламный ролик дотошному сканированию Дэниела Крейга. Актёр не только подарил внешность агенту 007, но также позволил отсканировать «интимные части», что бы это ни значило.
3D-сканирование, как и фотограмметрия, преобразует объекты в облака точек, чтобы потом пересобрать их в 3D-редакторе. Разница в том, что для создания 3D-скана не нужны фотографии — датчики переносят математику без опоры на изображения. В итоге получается серая модель без текстур.
Иногда возникают погрешности. Особенно при сканировании больших объектов, вроде автомобилей или архитектурных объектов. Последние могут быть размером в десятки метров. Чтобы не допустить ошибок, авторы прибегают к фотореференсам. Они помогают уточнить масштабы, формы и рельефы на этапе доработки и оптимизации полученных сканов. Иногда готовый скан уточняют при помощи фотограмметрии.
Авторы автосимулятора Forza Motorsport 7 использовали систему Leica с технологией LiDAR. Это комбинация лазерного сканирования и фотограмметрии для переноса обширных территорий в открытый мир игры.
Основной ландшафт захватывали сканером, а мелкие объекты — с помощью фотограмметрии. После авторы дорабатывали и оптимизировали полученные модели, чтобы затем расставить их в сцене согласно задуманному дизайну трассы.
Фотограмметрия в Call of Duty и Star Wars: Battlefront
Как и в играх 2000-х, в современных блокбастерах фотосканирование используют для повышения уровня реализма. Разница в том, что количество полигонов выросло до сотен тысяч, а разрешение текстур взлетело до 4096x4096 пикселей.
Авторы мрачного перезапуска Call of Duty: Modern Warfare (2019) сканировали разбитые автомобили, обмундирование и предметы окружения не только ради детализации, но и для ускорения разработки. У художников Infinity Ward уходило до 6 недель на «ручное» производство моделей с текстурами. Фотограмметрия и её последующая доработка, по их словам, занимала всего неделю.
Авторы актуальных Call of Duty, как и Team Silent в 90-х и 00-х, отправляются в путешествия по городам и странам, подходящим по сеттингу для их проектов, чтобы собрать материал. Только вместо простых фото получаются готовые 3D-модели с реалистичными текстурами.
Их объединяют в библиотеки ассетов, которые затем можно использовать сразу в нескольких проектах. Так элементы окружения и оружие из номерных Call of Duty впоследствии перекочевали в Warzone и Black Ops.
DICE, авторы дилогии Star Wars: Battlefront и актуальных Battlefield, также пользуются фотограмметрией. Она нужна для достоверного изображения ландшафтов и архитектуры даже в рамках фантастических вселенных. Художники Battlefront встраивают отснятые реальные объекты в окружение других планет.
Разработчики используют классическую фотосъёмку и дроны. Последние снимают локации в изометрической перспективе, чтобы получить монолитную модель всей сцены. Может показаться, что это — идеальное решение для быстрого создания большой карты с бесшовным окружением. Но мощности современных ПК и консолей не хватит, чтобы играть с настолько большим количеством полигонов и высоким разрешением текстур. Полученные в итоге модели снова нужно долго и упорно оптимизировать.
Фотограмметрия в кино
В кино масштабные куски отсканированной натуры используют с конца 90-х. Режиссёр Дэвид Финчер прибегал к фотограмметрии во время работы над «Бойцовским клубом» и «Комнатой страха», чтобы перенести «в цифру» декорации интерьеров и даже целые улицы.
В «Бойцовском клубе» фотограмметрия помогла создать сцены с эффектными пролётами камеры сквозь здания, а в «Комнате страха» получилось воплотить на экране плавное скольжение по тёмным интерьерам дома. Вживую снять эти эпизоды было бы гораздо сложнее и затратнее. Благодаря фотограмметрии у Финчера было больше контроля над пространством и движениями виртуальной камеры.
С тех пор фотограмметрию чаще всего используют для создания окружения, которое сложно отличить от физических декораций или натурной съёмки. Актёров снимают на фоне хромакея, а после подкладывают на задний план доработанные фотосканы. Многие не заметили, что большая часть сцен довольно реалистичного четвёртого сезона «Настоящего детектива» снята на фоне хромакея. Интерьеры жилых домов и ночных улиц Аляски добавили уже на этапе пост-продакшена.
Подобным образом поступили и авторы фильма «Салют-7». Тут всё прямо как у Финчера. Перенос декораций космической орбитальной станции в цифровое пространство 3D-редактора дал больше возможностей для редактирования кадров и сцен, управления камерой, усиления эмоциональной составляющей.
Художники из съёмочной команды использовали геодезический лазерный сканер. С его помощью снимали крупные объекты, а мелкие захватывали с помощью ручных сканеров. После авторы пользовались фотограмметрией для уточнения масштабов и захвата текстур в высоком разрешении.
Процесс разделили на два этапа. На первом снимали сами объекты, а на втором их обрабатывали. По итогу у художников получились детализированные цифровые копии космического корабля «Союз», переходного отсека, спускаемого модуля и 30 предметов аутентичного инвентаря вроде скафандров, наушников и даже чайных ложек. Как и в случае с «Настоящим детективом», актёров снимали на фоне зелёного экрана, а окружение добавляли на пост-продакшене.
Работа с отсканированными фонами и детализированными 3D-объектами требует больших вычислительных мощностей. В ассортименте DigitalRazor есть рабочие станции и GPU-серверы, которые значительно сокращают время рендеринга и экономят бюджет. Поможем выбрать правильную конфигурацию и предоставим гарантию. В конце этого материала ищите промокод на скидку.
Фотограмметрия и видеостены
С приходом движка Unreal Engine в киноиндустрию пользоваться фотосканами стало проще. Художники используют их в качестве декораций во время съёмок, а не на поздних этапах, когда весь материал с актёрами уже готов. Движок Epic рендерит готовые фоны в реальном времени, затем их выводят на огромную видеостену из сотен или тысяч LED-мониторов. Получается закрытая круглая арена диаметром около 20 метров. Подробнее об этой технологии мы рассказывали здесь.
Массив из мониторов с проецируемой картинкой заменяет живые декорации. В отличие от съёмок на хромакее, актёрам не нужно ничего представлять или выдумывать, опираясь на сценарий. Можно вывести на фотостену убедительный взрыв и добиться вполне реалистичной реакции на происходящее.
Видеостены упрощают и работу режиссёра. Можно долго рассказывать, как выглядит локация текущей сцены (особенно если речь идёт о фантастическом фильме) и объяснять актёрам, куда воевать в пустом пространстве. Но лучше сразу показать им отсканированные 3D-декорации!
Для рендеринга картинки и вывода её на LED-панели голливудские студии используют «фермы» с профессиональными видеокартами. DigitalRazor более 10 лет собирает рабочие станции для киностудий. Одним из последних проектов стала мощная сборка на основе процессора Threadripper 9000-й серии и графического ускорителя RTX Pro 6000 c 96 ГБ видеопамяти. С её помощью можно взрывать космические корабли над головами актёров, не переживая о стабильности частоты кадров.
Процесс создания спецэффектов тоже становится проще. Художникам не нужно перерисовывать свет и убирать зелёные блики от хромакея. Работы над фонами тоже становится меньше — их не нужно создавать и интегрировать в картинку с нуля. В исходном съёмочном материале декорации уже есть, нужно лишь устранить «разрывы» между мониторами и другие визуальные артефакты.
Режиссёр сериала «Мандалорец» Джон Фавро говорил, что сцены, снятые на фоне LED-панелей, «практически не требовали доработки». Некоторые попали в финальный монтаж вообще без каких-либо изменений.
Что стоит учесть заранее
Для фотограмметрии нужно много качественных фотокамер. Часто их помещают в специальную конструкцию из штативов. Камеры устанавливают в форме круга, чтобы захватить сканируемый объект со всех сторон. Чем больше снимков они сделают, тем точнее получится модель.
Даже самым лучшим камерам нужно качественное и однородное освещение. Фотограмметрия требует установки единой цветовой температуры для всех сторон объекта. Если во время сканирования будет выставлен неравномерный свет или появятся лишние тени — готовая модель станет неестественной и «картонной». Встроенную в камеру вспышку тоже использовать не стоит — она даст лишние тени и блики.
Далеко не все объекты можно отсканировать в студии. Здания, деревья и большие природные ландшафты придётся «снимать на натуре». В таком случае однородный свет придётся выставлять искусственно, как и бороться с тенями. Если не получается, значит, придётся потратить больше времени на доработку скана в редакторе.
Также стоит заранее делить сканируемые объекты на части, если есть такая возможность. Например, создатели Call of Duty: Modern Warfare (2019) сканировали оружие частями, деталь за деталью. Потом художники «собирали» пушки в единое целое в 3D-редакторе.
Трудно с людьми работать
С помощью фотограмметрии легко переносить в игры и фильмы объекты интерьера и даже целые ландшафты, но сканирование живых людей — куда более сложная задача.
Проблема заключается в том, что человек должен быть неподвижен, как актёры во время сеансов захвата мимики для L.A. Noire. Если он будет моргать, глубоко дышать или ёрзать во время фотограмметрии — на модели появятся видимые дефекты, которые будет сложно редактировать. Проще сделать съёмку заново.
Мастера из голливудских VFX-студий давно практикуют захват актёров в «оригинальном» масштабе с помощью фотограмметрии. Полученные модели помещают в сцены с обилием спецэффектов. Например, в эффектные сражения в фильмах Marvel. 3D-персонажей анимируют и комбинируют с реальными кадрами со съёмочной площадки, чтобы компьютерная анимация как можно меньше бросалась в глаза. В архиве ассетов Marvel хранятся цифровые копии Криса Эванса, Роберта Дауни-младшего, Пола Рада и других актёров.
Подобные архивы есть и у других студий. Часто в актёрских контрактах на крупных проектах изначально прописан пункт про создание цифровой копии. Так компания страхуется от форс-мажоров и невыполнения обязательств. Если что-то идёт не так и это угрожает выходу фильма — все необходимые сцены доснимут или переснимут с цифровым двойником.
Копии могут также пригодиться для создания видеоигр по мотивам и фильмов-приквелов с омоложёнными версиями персонажей. Нечто подобное можно увидеть в фильмах «Терминатор: Да придёт спаситель», «Логан» и «Пираты Карибского моря: Мертвецы не рассказывают сказки».
Недостатки технологии
Помимо особенностей работы со светом и сложностей при сканировании людей, у фотограмметрии есть и другие недостатки. Например, точность. Она ниже, чем у среднего лазерного 3D-сканера.
К тому же нельзя сканировать всё подряд. Плоских объектов вроде листов бумаги, одноцветного пластика и листвы деревьев лучше избегать. Блестящих объектов и зеркальных поверхностей — тоже. Вместо моделей получатся «сломанные» облака точек, а вместо текстур — «мыльные» фотографии.
Есть мнение, что самый важный недостаток технологии заключается в необходимости вкладывать в неё большие деньги. Для захвата качественной модели понадобится много дорогих камер, осветительные приборы и штативы. Дополнительно придётся потратиться на софт для обработки, «сшивания» и редактирования фотосканов.
Последнего этапа избежать не удастся. Исходник обязательно нужно дорабатывать, удалять лишние элементы, оптимизировать геометрию и количество полигонов. Понадобятся и навыки работы в графических редакторах вроде Photoshop. На захваченных текстурах часто встречаются артефакты.
Сканирование с низким бюджетом
Затраты на фотограмметрию можно сократить. Чтобы создать ассеты для инди-игры или некоммерческого фильма хватит простого смартфона с хорошей камерой и мобильного приложения. На iPhone 12 Pro и iPhone 12 Pro Max доступна технология LiDAR, которой пользовались авторы Forza Motorsport 7.
В магазинах мобильных приложений есть немало вариантов ПО, в том числе для смартфонов. Самое популярное и универсальное приложение — Polycam (версия для iOS и Android). С его помощью можно снимать, бесплатно обрабатывать фото и даже пользоваться LiDAR. В этой статье мы рассказывали, как самостоятельно создать свой 3D-аватар с помощью разных инструментов.
Авторы «выживастика» про зомби State of Decay 2 остались недовольны смартфонами, а на голливудский сетап для фотограмметрии не хватало ресурсов. Поэтому пришлось собрать свой собственный всего за 2360 долларов. Undead Labs обошлись одной камерой Sony A7ii, пятью лампами и держателями для них. Самым затратным пунктом была камера. Она стоила 2000 долларов.
Главное ухищрение заключалось в движении фотографа. Камера была всего одна, он снимал с рук и осторожно двигался вокруг объекта сканирования. По сути имитировал круговое расположение камер в дорогих установках. Из-за этого модели иногда получались с дефектами, а текстуры оказывались «мыльными». Undead Labs придумали элегантное решение проблемы — сканировать заново, пока не получится. Даже если нужно повторить процесс 6–8 раз.
Какие программы использовать
Помимо Polycam существует множество других программ. Процесс работы у всех одинаковый, но в каждой есть уникальные особенности.
Meshroom — идеальный выбор для новичков и тех, кто хочет освоить фотограмметрию с нуля. Приложение полностью бесплатное. Можно спокойно сканировать статичные объекты по урокам на YouTube, не заплатив при этом ни рубля. Единственный недостаток — ПО оптимизировано под видеокарты NVIDIA, поэтому с железом от AMD могут возникать проблемы. Их можно решить с помощью плагина MeshroomCL. Он адаптирует работу под другие видеочипы.
Metashape — более продвинутая программа, за которую придётся заплатить после пробного 30-дневного периода. Помимо широких возможностей для создания и обработки моделей и текстур, инструмент поддерживает панорамные снимки в 360°. Правда, работает Metashade гораздо медленнее Meshroom.
3DF Zephyr — ещё более продвинутая программа, но с большим количеством ограничений. В бесплатную версию можно загружать всего 50 фотографий за одну сессию. А платная стоит до 4000 долларов. Для создания простых объектов хватит бесплатной, но для чего-то сложного придётся раскошелиться.
В отличие от Metashape и 3DF Zephyr, у приложения RealityCapture нет пробного периода. Платить нужно за каждый загруженный снимок и его разрешение — чем оно выше, тем дороже стоит. За просмотр и редактирование готовой модели денег не берут. В понимании авторов такая система «позволяет более гибко управлять расходами».
Если денег на покупку дорогого ПО нет, а Meshroom по каким-то причинам не подходит, есть альтернативный вариант — Blender. Знаменитый 3D-редактор бесплатен, а количество его возможностей в направлении фотограмметрии не уступает Polycam и даже RealityScan, которая захватывает модели сразу под Unreal Engine.
Какой бы способ или программу вы ни выбрали, обработка большого количества снимков в высоком разрешении, генерация моделей и анализ облаков точек — задачи для мощных ПК. Присмотритесь к нашей линейке рабочих станций PERFORMANCE Pro. Она включает в себя доступные модели в средней ценовой категории. По промокоду WORKLOAD сделаем скидку 5% на весь ассортимент.
Но если нужно что-то по-настоящему мощное — обратите внимание на варианты сборок с несколькими ускорителями RTX Pro 6000 и до 768 ГБ оперативной памяти. Этого хватит, чтобы перенести в ваш 3D-проект небольшой город и его жителей. Главное, чтобы они согласились неподвижно стоять или сидеть во время сканирования.