На днях стартуют продажи шлема смешанной реальности Apple Vision Pro. Одна из его самых впечатляющих функций — сквозной режим (Passthrough), позволяющий видеть приложения, виртуальные телевизоры и другие объекты, встроенные в окружающий мир так, будто они реальны. Разбираемся, как это работает и что даёт пользователям.
Что такое сквозной режим? В шлемах смешанной реальности (mixed reality, MR) есть камеры на корпусе, направленные на окружающий мир. В сквозном режиме шлем выводит изображение с камер на экраны, позволяя человеку как бы видеть сквозь непрозрачный корпус.
Но просто выводить кадры с камер недостаточно: камеры располагаются в 2–3 см от глаз, поэтому картинка снимается с непривычного для мозга ракурса. Из-за этого во многих (но не всех) MR-шлемах используется метод репроецирования изображения.
Шлем с помощью камер или лидара создаёт карту глубины (она показывает, на каком расстоянии от шлема находятся объекты вокруг), и каждый кадр с камер искажается с учётом этой карты так, чтобы он выглядел снятым с того же ракурса, что и глаза пользователя. Все эти процессы происходят в реальном времени, как правило, с частотой 90 раз в секунду.
Зачем нужен сквозной режим?Сквозной режим позволяет совмещать в устройстве лучшие свойства VR и AR: шлем может работать в обычном VR-режиме, в котором человек полностью погружён в виртуальный мир, а если нужно, можно включить Passthrough и видеть мир вокруг почти так же, как и без шлема, но с виртуальными объектами, например, парящими в воздухе окнами приложений. А ещё сквозном режиме можно взаимодействовать с реальным миром: взять кружку с кофе или ответить на сообщение на смартфоне.
Это технология Apple?Этот режим в том или ином виде уже есть в других шлемах, таких как Quest 3 от Meta (
признана экстремистской организацией и запрещена в РФ), Pico 4 или Varjo XR-4. Но, судя по тестам журналистов, в Apple Vision Pro он реализован качественнее, а картинка в нём ещё ближе к реальности.
Подписывайтесь @techno_yandex
Не пропускайте новости Яндекса тут @yandex
