Смартфон стал ручной камерой для Blender: бесплатный аддон с открытым кодом

Аддон Phone Camera Controller превращает смартфон на iOS или Android в ручную виртуальную камеру для Blender. Телефон показывает вьюпорт в реальном времени, а 3D-камера в сцене повторяет движение телефона. Если зажать запись, проход сохраняется в обычные ключевые кадры камеры. Аддон бесплатный, распространяется с открытым кодом под GPL и весит 35 КБ.

По замыслу разработчиков, с телефоном можно делать движения камеры, которые трудно получить мышью: пройти с ним по комнате и записать облёт сцены как ручную съёмку. Фокус по ходу дубля можно перевести вручную, и это тоже попадёт в анимацию.

Что записывается в дубль

Камера управляется в шести степенях свободы: положение по X, Y, Z и поворот (панорама, наклон, крен). Данные дают гироскоп, акселерометр и AR-трекинг положения телефона. Объектив тоже настраивается со смартфона: фокусное расстояние, дистанция фокусировки, диафрагма, степень размытия и глубина резкости применяются сразу.

«Фокусное расстояние, дистанция фокусировки, диафрагма и глубина резкости задаются с телефона и записываются в ключи во время съёмки, так что фокус можно переводить вручную», — пишут разработчики на странице аддона.

Записывать можно двумя способами. Короткое нажатие ставит один ключевой кадр в текущем кадре. Если удерживать кнопку, положение и поворот пишутся покадрово, пока идёт таймлайн; когда кнопку отпускают, запись останавливается. Таймлайном тоже управляют с телефона: старт, пауза, перемотка, шаг по кадрам, переход к началу или концу.

Настройки движения собраны в боковой панели Phone Cam (клавиша N во вьюпорте):

• поворот и перемещение включаются отдельно — например, только поворот для панорамы как со штатива;
• чувствительность задаёт, насколько далеко уходит камера на каждый шаг реального движения: для мелких выверенных проходов её снижают;
• сглаживание убирает дрожание датчиков: выше — плавный ход, ниже — сырая ручная съёмка;
• любую ось можно инвертировать;
• калибровка нейтральной позы запоминает текущее положение камеры, чтобы каждый дубль начинался с одного и того же кадра.

Аддон работает с несколькими телефонами сразу, каждый ведёт свою камеру в сцене. Для этого в Blender добавляют по камере на телефон и привязывают их в приложении, а вьюпорт следует за последней выбранной камерой.

Подключение без настроек сети

Телефон и компьютер находят друг друга сами через Bonjour/mDNS, в том числе на Windows: вводить IP-адреса, порты и коды сопряжения не нужно. Достаточно нажать Start Server в панели, и Blender появится в списке хостов приложения. Превью приходит на телефон в том же режиме затенения, что и во вьюпорте: Solid для скорости или Material Preview, чтобы видеть цвет и свет. Это пригодится и без записи — например, чтобы показать клиенту кадр на экране телефона, ничего не рендеря.

Ограничения указаны прямо. Оба устройства должны быть в одной локальной сети Wi-Fi; через сотовую связь и удалённые сети аддон не работает. Разработчики советуют 5 ГГц, на 2,4 ГГц задержка выше. Пока сервер запущен и телефон подключён, аддон рендерит превью шириной 640 пикселей по умолчанию (ширину и частоту кадров меняют в настройках аддона). Используются порты HTTP 8254 и UDP 8255 — это полезно знать, если сеть студии закрыта файрволом. Сцена передаётся только локально и в интернет не загружается.

Где взять и сколько стоит запись

Аддон Phone Camera Controller версии 1.4.1 выложен одним архивом для всех платформ. Он написан на чистом Python, требует Blender 4.2 или новее на macOS, Windows (64-бит) или Linux и протестирован на Blender 5.2 LTS. Ставится через Install from Disk в настройках, пароль администратора не нужен. Приложение Phone Camera Control бесплатно в App Store и Google Play (Android 8.0 и новее); телефону нужны гироскоп и акселерометр.

Монетизация касается только записи. Трансляция, управление камерой, настройки, таймлайн и работа с несколькими телефонами не ограничены и идут без рекламы. После регистрации в приложении выдаётся 30 Ad Credits на запись; просмотр короткой рекламы добавляет 10 секунд записи, дневного лимита нет. Разовая покупка Ad-Free убирает рекламу и снимает ограничения на запись; её цена на странице аддона не приводится. Lite- и Pro-версий нет: набор функций у всех одинаковый. Аккаунт в приложении нужен для учёта кредитов.

Чем он отличается от других «камер в телефоне»

Похожие инструменты существовали и раньше. PocketCam на маркетплейсе Superhive тоже даёт 6DoF-трекинг, видоискатель в реальном времени и запись с проигрыванием таймлайна со звуком. Подключение там идёт по QR-коду, телефон открывает интерфейс в браузере без установки приложения, заявлены стабилизация и коммерческая лицензия. В 2021 году, как писал BlenderNation, похожие возможности предлагал VirtuCamera: передача движения по Wi-Fi, трансляция вьюпорта, запись ключей, управление фокусным расстоянием и сглаживание. Он требовал iPhone или iPad с поддержкой ARKit и работал с Blender 2.83–2.92.

В нашей оценке, на фоне PocketCam главные отличия Phone Camera Controller — бесплатный аддон и работа целиком в локальной сети: PocketCam продаётся платно, требует интернет-соединения и аккаунта Cloudflare, зато не привязан к одной сети Wi-Fi. Ещё одно отличие — запись дистанции фокусировки и диафрагмы вместе с движением, так что оператор может сам переводить фокус по ходу дубля. По сравнению с VirtuCamera добавились Android и актуальные версии Blender. Слабое место — модель с кредитами: бесплатного режима, вероятно, хватит, чтобы попробовать и снять несколько коротких проходов, а для регулярной работы с длинными дублями, скорее всего, понадобится разовая покупка. Неясно и то, как AR-трекинг ведёт себя на длинных проходах: данных о дрейфе разработчики не приводят. Сами они советуют держать телефон двумя руками, начинать движение медленно и при рывках отменять дубль и переснимать, поэтому чистку кривых после записи, вероятно, стоит закладывать в план.