Facebook сделал алгоритм DeepFocus опенсорс для более реалистичного варифокального VR рендеринга
DeepFocus - это рендерер Facebook, управляемый искусственным интеллектом, который создает естественное размытие в режиме реального времени. Facebook объявил, что DeepFocus становится опенсорс, а его инструмент глубокого обучения будет "аппаратно-независимым".
Когда вы держите руку перед собой, ваши глаза естественно сходятся в одну сторону и приспосабливаются, фокусируя взгляд на вашей руке. Однако в современных VR-шлемах это уже не так, поскольку свет исходит от фиксированного источника, что заставляет ваши глаза фокусироваться на более близком поле зрения. Именно для этого появились варифокальные дисплеи и слежение за глазами, поскольку фиксированное фокусное расстояние становится переменным, чтобы поле зрения соответствовало тому, куда вы смотрите в данный момент.
По сути, это позволит вам сосредоточиться на объектах независимо от их расстояния от вас, что сделает общее впечатление более комфортным и захватывающим. Но недоработанный аспект здесь - это способность шлемов также воспроизводить размытое расфокусированное изображение, что происходит, когда вы фокусируетесь на руке и фон размыт.
В исследовательском документе, представленном на SIGGRAPH Asia 2018, компания говорит, что на создание DeepFocus команду вдохновило "возрастающее доказательство важности размытия расфокусировки сетчатки при стимулировании адаптивных реакций, а также в восприятии глубины и физического реализма".
В отличие от более традиционных систем искусственного интеллекта, используемых для анализа изображений на основе глубокого обучения, DeepFocus обрабатывает визуальные эффекты, поддерживая сверхточные разрешения изображений, необходимые для высококачественной передачи VR.
Это означает, что не только вещи будут выглядеть более реалистично в варифокальных VR-шлемах и даже AR-гарнитурах с дисплеями в light-field, они также уменьшат напряжение глаз, связанное с конфликтом сходимости взгляда и его приспособления.
Facebook будет публиковать как исходные данные, так и данные обучения нейронных сетей "для инженеров, разрабатывающих новые системы виртуальной реальности, специалистов по зрению и других исследователей, изучающих восприятие", говорится в блоге компании.