Scantic обучает гауссовы сплаты прямо на iPhone, не отправляя съёмку в облако

Разработчик Sebastian Beyer выпустил Scantic — приложение для iPhone, которое собирает 3D Gaussian Splats из обычной съёмки на телефонную камеру. Обучение сплата занимает, по словам автора, меньше минуты и целиком идёт на самом устройстве: отснятый материал никуда не уходит.

Мобильные 3D-сканеры этого типа обычно загружают отснятые кадры в облако, где и считается реконструкция. Beyer говорит, что Scantic успевает обучить сплат за то время, которое другие приложения тратят только на заливку данных.

Локальная обработка убирает из пайплайна самый долгий шаг

Сама съёмка ничем не отличается от других 3DGS-сканеров: пользователь запускает новый скан и обходит объект или помещение по кругу, а приложение строит сплат по набранным кадрам. Обработка небольших сканов, как заявляет разработчик, укладывается в минуту.

Готовый сплат экспортируется в PLY — этот формат читают DCC-пакеты с поддержкой 3DGS, так что скан можно передать дальше по рабочему процессу без промежуточных конвертаций.

Помимо экономии времени локальная обработка снимает вопросы безопасности данных: съёмка не передаётся стороннему сервису. По описанию приложения, скан считается на устройстве без аккаунта и без ожидания сервера, и работает офлайн.

Примеры сканов: велосипед, интерьеры, автомобиль. Изображение: Scantic

Приложение выросло из летнего эксперимента с ускорением чужого движка

Beyer — инженер-программист, а не CG-художник; Blender он использует для личных работ. Scantic начался с задачи, которую разработчик поставил себе сам на лето: ускорить существующий пайплайн 3D Gaussian Splatting с помощью AI-инструментов для написания кода, не будучи специалистом по сплатам.

Первый сплат он собрал на открытом движке Brush из съёмки на iPhone — обучение заняло больше трёх часов на MacBook Air. Дальше, с помощью модели Claude Fable 5, разработчик поэтапно поднимал производительность и довёл прирост до 260-кратного, после чего начал переносить всё большие куски пайплайна на сам iPhone. Приложение, работающее только на телефоне, по его собственным словам, получилось почти случайно.

У Kiri Engine и Polycam инструментов больше

Scantic выходит на рынок, где мобильные сканеры со сплатами уже есть: Kiri Engine и Polycam функционально богаче, у них есть средства обрезки и правки данных скана. Scantic такого набора не предлагает; его отличие — обработка целиком на устройстве пользователя.

Сколько стоит и на чём работает

Базовая версия бесплатна и открывает стандартный режим экспорта — облегчённую версию скана пониженного качества. Полное качество экспорта требует подписки за 29,99 € в год (около 35 $), либо разовой оплаты 4,99 € за отдельный скан. Из требований: iOS 17.0 и чип A12 Bionic или новее, то есть iPhone XS 2018 года и свежее. Скачать Scantic можно в App Store.

В планах у разработчика — обучение сплатов из уже отснятых видео, а не только из живой съёмки, и экспорт в формат SPZ. Возможна и компаньон-версия для macOS, чтобы передавать скан на ноутбук или десктоп для обработки. А вот версии для Android не будет: у Apple, объясняет Beyer, линейка железа относительно контролируемая, тогда как на Android приложение работало бы лишь на части топовых устройств, а остальные владельцы получили бы плохой опыт использования.

Почему реконструкция уезжает с серверов обратно на устройство

Отдельное приложение одного разработчика само по себе рынок не двигает, но оно попадает в заметную линию. Мобильное сканирование ушло в облако потому, что реконструкция требовала вычислений, которых на телефоне не было, а трафик и серверное время оплачивались подпиской. По мере того как чипы смартфонов подтягиваются, а методы вроде гауссовых сплатов оказываются дешевле в обучении, чем ранние подходы к реконструкции, часть этой работы возвращается на устройство — и вместе с ней исчезает статья расходов, ради которой существовала обязательная подписка. Вероятно, с этим связана и бесплатная база у Scantic при плате только за качественный экспорт.

Есть и вторая линия, тоже видная по этой истории: инструмент для узкой области сделал человек без профильного опыта в ней, опираясь на AI-помощь в коде. Если такой сценарий будет повторяться, нишевые утилиты для CG начнут появляться чаще и быстрее, а конкуренция сместится с наличия функции на качество результата и удобство пайплайна.

Вероятное продолжение выглядит так: облачные сканеры сосредоточатся на том, что телефону даётся тяжелее — редактирование, совместная работа, хранение и публикация сканов, — а захват и первичная реконструкция всё больше будут уходить на устройство. Тогда ключевым местом стыковки станут форматы обмена, и обещанная поддержка SPZ рядом с PLY укладывается в эту логику.

Чем вы сейчас собираете сплаты и что заставило бы вас перейти на обработку прямо в телефоне? Чего для этого не хватает в Scantic?