Разработчик Sebastian Beyer выпустил Scantic — приложение для iPhone, которое собирает 3D Gaussian Splats из обычной съёмки на телефонную камеру. Обучение сплата занимает, по словам автора, меньше минуты и целиком идёт на самом устройстве: отснятый материал никуда не уходит.
Мобильные 3D-сканеры этого типа обычно загружают отснятые кадры в облако, где и считается реконструкция. Beyer говорит, что Scantic успевает обучить сплат за то время, которое другие приложения тратят только на заливку данных.
Библиотека сканов в Scantic: статус обработки и размер файлов на устройстве. Изображение: Scantic
Локальная обработка убирает из пайплайна самый долгий шаг
Сама съёмка ничем не отличается от других 3DGS-сканеров: пользователь запускает новый скан и обходит объект или помещение по кругу, а приложение строит сплат по набранным кадрам. Обработка небольших сканов, как заявляет разработчик, укладывается в минуту.
Готовый сплат экспортируется в PLY — этот формат читают DCC-пакеты с поддержкой 3DGS, так что скан можно передать дальше по рабочему процессу без промежуточных конвертаций.
Помимо экономии времени локальная обработка снимает вопросы безопасности данных: съёмка не передаётся стороннему сервису. По описанию приложения, скан считается на устройстве без аккаунта и без ожидания сервера, и работает офлайн.
Примеры сканов: велосипед, интерьеры, автомобиль. Изображение: Scantic
Приложение выросло из летнего эксперимента с ускорением чужого движка
Beyer — инженер-программист, а не CG-художник; Blender он использует для личных работ. Scantic начался с задачи, которую разработчик поставил себе сам на лето: ускорить существующий пайплайн 3D Gaussian Splatting с помощью AI-инструментов для написания кода, не будучи специалистом по сплатам.
Первый сплат он собрал на открытом движке Brush из съёмки на iPhone — обучение заняло больше трёх часов на MacBook Air. Дальше, с помощью модели Claude Fable 5, разработчик поэтапно поднимал производительность и довёл прирост до 260-кратного, после чего начал переносить всё большие куски пайплайна на сам iPhone. Приложение, работающее только на телефоне, по его собственным словам, получилось почти случайно.
У Kiri Engine и Polycam инструментов больше
Scantic выходит на рынок, где мобильные сканеры со сплатами уже есть: Kiri Engine и Polycam функционально богаче, у них есть средства обрезки и правки данных скана. Scantic такого набора не предлагает; его отличие — обработка целиком на устройстве пользователя.
Сколько стоит и на чём работает
Базовая версия бесплатна и открывает стандартный режим экспорта — облегчённую версию скана пониженного качества. Полное качество экспорта требует подписки за 29,99 € в год (около 35 $), либо разовой оплаты 4,99 € за отдельный скан. Из требований: iOS 17.0 и чип A12 Bionic или новее, то есть iPhone XS 2018 года и свежее. Скачать Scantic можно в App Store.
В планах у разработчика — обучение сплатов из уже отснятых видео, а не только из живой съёмки, и экспорт в формат SPZ. Возможна и компаньон-версия для macOS, чтобы передавать скан на ноутбук или десктоп для обработки. А вот версии для Android не будет: у Apple, объясняет Beyer, линейка железа относительно контролируемая, тогда как на Android приложение работало бы лишь на части топовых устройств, а остальные владельцы получили бы плохой опыт использования.
Просмотр готового скана в приложении. Изображение: Scantic
Почему реконструкция уезжает с серверов обратно на устройство
Отдельное приложение одного разработчика само по себе рынок не двигает, но оно попадает в заметную линию. Мобильное сканирование ушло в облако потому, что реконструкция требовала вычислений, которых на телефоне не было, а трафик и серверное время оплачивались подпиской. По мере того как чипы смартфонов подтягиваются, а методы вроде гауссовых сплатов оказываются дешевле в обучении, чем ранние подходы к реконструкции, часть этой работы возвращается на устройство — и вместе с ней исчезает статья расходов, ради которой существовала обязательная подписка. Вероятно, с этим связана и бесплатная база у Scantic при плате только за качественный экспорт.
Есть и вторая линия, тоже видная по этой истории: инструмент для узкой области сделал человек без профильного опыта в ней, опираясь на AI-помощь в коде. Если такой сценарий будет повторяться, нишевые утилиты для CG начнут появляться чаще и быстрее, а конкуренция сместится с наличия функции на качество результата и удобство пайплайна.
Вероятное продолжение выглядит так: облачные сканеры сосредоточатся на том, что телефону даётся тяжелее — редактирование, совместная работа, хранение и публикация сканов, — а захват и первичная реконструкция всё больше будут уходить на устройство. Тогда ключевым местом стыковки станут форматы обмена, и обещанная поддержка SPZ рядом с PLY укладывается в эту логику.
Чем вы сейчас собираете сплаты и что заставило бы вас перейти на обработку прямо в телефоне? Чего для этого не хватает в Scantic?