iPhone становится камерой в Blender — без приложения
Виртуальная камера в Blender обходится без отдельной программы на телефоне. Аддон PocketCam выводит интерфейс съёмки прямо в Safari: пользователь сканирует QR-код из Blender, и смартфон превращается в камеру внутри сцены — поворот корпуса вращает кадр, шаг по комнате сдвигает камеру, присел — получил нижний ракурс. Движение пишется в таймлайн кадр за кадром как обычная анимация.
Автор проекта — оператор, 3D-художник и аниматор Льюис Мартин. Приложение для телефона представляет собой веб-страницу, которую аддон разворачивает на бесплатном аккаунте Cloudflare самого пользователя. Магазин приложений и подписка не нужны, общий Wi-Fi тоже: компьютер и смартфон связываются через интернет и могут находиться в разных сетях.
Телефон держит камеру, а не крутит вьюпорт
В полной версии доступны два варианта трекинга. Первый опирается только на датчики движения: гироскоп отвечает за повороты и наклоны, а перемещение задаётся экранными джойстиками, которые входят во все редакции. Второй, markerless, добавляет перемещение в пространстве — его система отслеживает по камере смартфона и датчикам движения, и именно он даёт эффект прохода с камерой в руках.
Условия съёмки разработчик оговаривает отдельно: трекинг опирается на то, что видит камера, поэтому гладкая белая стена не даёт ему ориентиров, и снимать рекомендуется в хорошо освещённой комнате с деталями в кадре. Параметр Movement Scale при этом описан как творческий множитель, а не калиброванная реальная шкала. Картинка с камеры обрабатывается на самом телефоне и никуда не передаётся, а связь со Blender идёт через аккаунт Cloudflare пользователя, а не через серверы автора.
Чтобы ручная съёмка не превращалась в тряску, в аддоне есть блокировка горизонта, фиксация высоты, режим штатива (только панорамы и наклоны), сглаживание в реальном времени и тот же Movement Scale: один реальный шаг можно приравнять к шагу вокруг настольной сцены или к перелёту через город. Отдельно работают микродвижения кисти — Hand Pivot и Movement, которые добавляют кадру параллакс и естественное подрагивание. Есть кнопки Recenter и Home, причём домашней точкой можно сделать 3D-курсор или текущую камеру. В версиях Pro и Studio камерой можно управлять геймпадом Xbox, вообще не беря телефон в руки.
Дубли пишутся в таймлайн и правятся после съёмки
На телефон идёт вид камеры, который рендерит сам Blender, — экран компьютера не записывается, поэтому на macOS не появляется запросов на доступ к записи экрана и чёрных кадров. Размер, частоту кадров и качество потока можно подстроить под соединение. Оптика выбирается из шести фиксов — 14, 24, 35, 50, 85 и 135 мм; плавное зум-колесо от 12 до 200 мм доступно в Pro и Studio, работает и щипок пальцами, а смена фокусного расстояния записывается вместе с дублем.
Самое практичное для аниматоров — работа с дублями. Запись идёт со звуком таймлайна, так что камеру можно вести под музыку или реплику. Каждый дубль сохраняется отдельно, переключаются они одним щелчком, неудачные удаляются, а исходная анимация камеры остаётся нетронутой. Уже после съёмки дубль разрешено пересгладить ползунком от 0 (сырые данные) до 1 (как со стедикама) или переопределить объектив: оставить записанный, зафиксировать одно фокусное расстояние на весь дубль или анимировать его самому. То есть брак по дрожанию руки не обязывает переснимать сцену заново.
Предусмотрены и мелочи съёмочного процесса: обратный отсчёт от 0 до 10 секунд перед стартом, режим Review после дубля, красная рамка видоискателя во время записи, таймкод и номер кадра в верхней строке на телефоне. После разрыва связи телефон переподключается сам, без повторного сканирования QR-кода.
Сколько стоит и что нужно для запуска
Аддон продаётся на Superhive в трёх редакциях с разовой оплатой: PocketCam Lite за $12 даёт гироскоп и джойстики с фиксами, Pro за $24 добавляет полный 6 DoF с перемещением в пространстве, зум-колесо и поддержку геймпада, Studio за $69 покрывает до десяти художников в одной компании. Коммерческое использование разрешено во всех вариантах и без ограничения по доходу, 1% с каждой продажи автор отчисляет в Blender Development Fund.
Заявлена совместимость с Blender от 4.2 LTS до 5.2 на Windows и macOS; в документации указано, что проверка шла на Mac и iPhone в Safari, а Android, другие браузеры и планшеты для этого релиза не тестировались и пока не поддерживаются. Обоим устройствам нужен интернет — офлайн режим не предусмотрен. Настройка разовая и занимает порядка пяти минут: аккаунт Cloudflare, API-токен уровня Workers Admin, кнопка Create Phone App в Blender; терминал и код не требуются. О токене стоит помнить отдельно: он даёт права на управление всеми Workers в выбранном аккаунте, а тарифы и лимиты Cloudflare к цене аддона отношения не имеют.
Почему виртуальная камера уехала в браузер
Виртуальный продакшен долго оставался дорогой темой: чтобы снять кадр с рук в 3D-сцене, студии ставили трекеры VR-систем, держали мокап-площадку или покупали отдельные мобильные приложения, которые приходилось обновлять вслед за версиями DCC-пакетов и сменами политики магазинов. Выбор Safari и Cloudflare Workers вместо нативного приложения выглядит попыткой снять именно этот барьер — распространение и совместимость.
Побочный эффект такого подхода заметен сразу: инфраструктуру оплачивает и администрирует сам пользователь, а разработчик избавляется от серверов и ревью в магазине приложений. Если модель окажется рабочей, похожим путём, вероятно, пойдут и другие авторы связок «телефон — DCC-пакет»: порог входа для одиночного разработчика здесь заметно ниже, чем у мобильного приложения.
Для небольших команд и фрилансеров это означает, что черновая операторская работа — облёты, проходы, съёмка под музыку — меньше зависит от закупки железа. Качество трекинга по камере смартфона предсказуемо уступает аппаратным системам, и, судя по оговоркам самого разработчика об освещении и фактуре в кадре, для финального кадра его лучше рассматривать как основу, которую потом правят сглаживанием. Для превиза, аниматика и поиска ракурсов этого обычно достаточно.
Готовы ли вы отдать виртуальную камеру браузеру или останетесь на проводной связке с телефоном? Чего не хватает, чтобы перенести съёмку в Safari?