Как работает технология виртуальной реальности

Разбираемся, что происходит после того, как человек надевает VR-шлем, и почему виртуальная реальность — это не только игры.

Виртуальная реальность (от англ. Virtual Reality) — это технология, которая погружает пользователя в цифровое пространство так, что оно кажется ему реальным. Чтобы испытать это ощущение, нужно надеть специальное устройство — VR-очки или шлем. Экраны внутри них показывают стереоскопическую картинку, а специальные сенсоры и контроллеры отслеживают движения головы и тела. В итоге пользователь может взаимодействовать с виртуальным пространством почти как с реальным.

Современный VR связан с компьютерными технологиями, но история изобретения началась гораздо раньше, чем появились первые компьютеры.

В 1838 году физик Чарльз Уитстон изобрёл стереоскоп — прародителя современных VR-устройств. Суть работы стереоскопа с тех пор не менялась: в «очки» помещают стереопару — две плоские фотографии, снятые под разным углом. При рассматривании стереопары каждый глаз видит «свою фотографию», а мозг сводит их в одну. Это и создаёт эффект объёмного изображения. По такому же принципу работает наше бинокулярное зрение. Человек смотрит на мир двумя глазами, но видит его как одну объёмную картинку. Всё потому что мозг объединяет изображения, которые передаёт каждый глаз, — даже если они разные.

Советский стереоскоп «Салют»

Сначала стереоскопические эффекты пробовали использовать в индустрии развлечений. Например, в кинотеатре Sensorama. Он напоминал фотобудку, в которую помещали проектор, кресло с вибрацией, генераторы запаха и звука. Всё это создавало ощущение, будто зритель оказался внутри фильма. Изобретение запатентовали, но успеха оно не получило.

У военных технологии VR, наоборот, пользовались спросом. В 1961 году в компании Philco разработали Headsight. Устройство состояло из двух видеоэкранов и системы отслеживания движения, связанной с камерой замкнутого контура. Таким образом военные могли удалённо следить за боевыми действиями.

В устройстве Headsight можно было удалённо управлять камерой и таким образом осматривать местность

В конце 60-х изобрели устройство, которое работало уже в паре с компьютером, а не камерой, — «Дамоклов меч». Его автор, Айвен Сазерленд, придумал концепцию, которая предполагала, что альтернативная реальность — это та, в которой человек может взаимодействовать с виртуальным пространством. А чтобы её создать, нужны компьютерные технологии.

«Дамоклов меч» был громоздким и не позволял пользователю двигаться, потому что крепился к потолку. Виртуальный мир состоял из примитивных изображений комнат и геометрических объектов

В 1970—1980-х годах государство продолжило спонсировать развитие VR-технологий. Например, для подготовки пилотов разработали шлем виртуальной реальности VITAL. Специальный датчик в нём отслеживал положение головы, два экрана проецировали в глаза пилота изображения виртуального мира, сгенерированного компьютером. Так пилот мог осматривать элементы управления в кабине. Эта система VR стала прообразом сегодняшних шлемов виртуальной реальности.

В девяностых — нулевых технологии виртуальной реальности вернулись в игровую индустрию. Но все VR-разработки получались либо дорогими, либо неудобными. Например, компания программиста Джарона Ланье выпустила VR-комплект с очками, сенсорным костюмом, звуковой системой и специальным программным обеспечением почти за $50 000.

Разработчики игр SEGA и Nintendo несколько лет соревновались, выпуская VR-очки и шлемы для своих консолей. Все они получались тяжёлыми, а качество картинки страдало. Сложности были и с моделями, которые разрабатывали для работы с компьютерами. Настройка шлемов оказалась испытанием даже для тех, кто был с техникой на «ты».

Видео с презентации SEGA VR в 1993 году

О VR-шлемах могли забыть, если бы компания Oculus не собрала деньги на выпуск шлема виртуальной реальности Rift. Первая версия стоила $300, весила в 3 раза меньше других шлемов и предлагала угол обзора в 3 раза шире. Разработка мотивировала другие компании выпустить свои продукты. Например, Valve вместе с HTC разработали VR-шлем для легендарной игры-шутера Half Life.

Игра Half Life Alyx 2020 года для шлема HTC Vive

В 2020 году появилась обновлённая версия шлема Rift по цене первого прототипа — Oculus Quest 2. Казалось бы, индустрия VR-игр должна развиваться, но чуда не произошло. Пользователи были не заинтересованы покупать гарнитуру исключительно для игр. Провалилась и следующая разработка шлема от той же компании. Его предлагали использовать для работы и общения, но заплатить за это уже $1500.

В 2023 году к виртуальной гонке подключилась Apple и выпустила шлем смешанной реальности Vision Pro. Он превосходит своих предшественников по качеству, дизайну и мощности процессоров. Но приложений для шлема пока мало, некоторые функции работают с ошибками и нет VR-игр — отправиться на миссию в Half Life прямиком из AppStore не получится. При этом стоимость космическая для среднестатистического пользователя — 300–600 тыс. руб.

Компания Gartner каждый год проводит исследование Hype Cycle, в котором изучает, на какой стадии зрелости находятся разные технологии и когда ждать их расцвета. По данным за 2023 год, VR-технологии пока только набирают популярность. Например, в продажах её будут активно использовать не раньше чем через 2—5 лет. А в метавселенных — виртуальных пространствах для общения, игр, мероприятий и бизнеса — через 10. Возможно, к этому времени VR станет доступнее, а проекты в этой сфере — разнообразнее.

«Хайп-исследование» от Gartner 2023. Источник

Виртуальная реальность кажется волшебством, которое переносит пользователя в другой мир по щелчку пальца. Но никакой магии здесь нет — только работа инженеров, программистов и дизайнеров. На примере компьютерной игры, которую адаптировали под VR, разберём суть технологии виртуальной реальности:

● Пользователь попадает в виртуальный мир через VR-шлем. Он похож на сноубордическую маску с двумя экранами и линзами, чтобы усилить глубину изображения, и динамиками — для звуковых эффектов. Экраны в VR-шлемах находятся близко от глаз, поэтому их разрешение не ниже чем 2–4К. Иначе пользователь будет замечать пиксели, а это портит эффект погружения.

Шлемы бывают мобильные, автономные и с гарнитурой. Мобильные шлемы — это самый примитивный VR, который подходит для просмотра роликов или простых мобильных игр. Смартфон вставляют в гарнитуру с линзами и запускают на нём приложение.

Автономные работают на собственных процессорах и не зависят от другой техники, а шлемы с гарнитурой нужно подключать к ПК или игровой приставке по проводу или Wi-Fi. Это немного ограничивает пользователя, но позволяет играть в игры со сложной графикой — для неё возможностей мобильного процессора может быть недостаточно. Мощные беспроводные модели на рынке есть, но заряда батареи хватает на пару часов.

Игровой VR-комплект от Valve. Такой шлем подключают к компьютеру

● Виртуальный мир «видит» пользователя через камеры, датчики, контроллеры и станции. Игровые контроллеры пользователь держит в руках, а они считывают движения в реальном пространстве и переносят его в виртуальное. Системы отслеживания, встроенные в контроллеры, помогают понять, что пользователь делает. Например, поднимает и перемещает предметы, открывает двери, стреляет из оружия.

Есть два способа, как VR-гарнитура определяет положение пользователя в пространстве, — с помощью камер и станций.

Камеры размещаются на шлеме и отслеживают его положение и контроллеров относительно других предметов. Минус камер — неточный трекинг и не хватает угла обзора. Например, когда руки во время игры опущены или за спиной.

Станции — это что-то вроде маяков, которые помогают обозначить игровую зону. Они пускают лазерные лучи, а датчики в шлеме и контроллерах ловят их, пока игрок двигается.

Трекинг игрока в пространстве с помощью базовых станций точнее, чем вариант с камерами, но чтобы добиться этой точности, нужно экспериментировать с размещением станций

Современные модели шлемов используют технологию фовеального рендеринга — оптимизацию изображения в зависимости от направления взгляда. Так работает человеческое зрение: мы видим чётким только то, что в фокусе внимания. В шлеме виртуальной реальности есть специальные датчики, которые отслеживают, куда смотрит пользователь. Это помогает одним взглядом перемещаться по меню, нацеливаться на врага или подсвечивать объекты. Компьютер подобно мозгу использует информацию от датчиков и подстраивает изображение под взгляд. Таким образом получается тратить меньше вычислительных мощностей компьютера и при этом не обеднять пользовательский опыт.

Для VR-проектов нужны разные специалисты. Например, программисты со знанием C# и опытом работы с Unity — популярной средой для разработки игр. Дизайнеры, которые умеют создавать 3D-объекты, текстуры, анимации, интерфейсы. Но если душа не лежит к разработке или дизайну, а сфера интересна, можно заняться маркетингом или развитием сообществ — продвигать VR-продукты и проводить мероприятия для пользователей гарнитур.

Стать разработчиком, дизайнером или маркетологом можно с нуля. Освоить новую профессию на курсах будет быстрее, чем учиться самостоятельно. Студенты изучают теорию и сразу закрепляют её на примерах, близких к реальным проектам. После учёбы начинается карьерный трек, где помогают составить резюме и подготовиться к собеседованию. Определиться с направлением до начала обучения поможет тест на профориентацию.

Разработчики часто осваивают одновременно технологию виртуальной реальности и дополненной (AR или Augmented reality). Такое направление называется XR (Extended reality) или иммерсивной разработкой. Но технологии AR и VR отличаются.

Когда речь заходит о VR-проектах, чаще всего упоминают те, в которых может участвовать любой желающий, — игры или метавселенные.
Но другие индустрии тоже используют технологии виртуальной реальности. Например:

● В медицине VR-технологии используют практикующие врачи, медицинские организации и студенты. Например, хирурги могут «отрепетировать» операцию в виртуальной реальности, чтобы подготовиться к сложностям в настоящей операционной. А студенты быстрее разберутся в нюансах анатомии.

Обучение анатомии на платформе VR от компании Virtual Medicine

● Промышленность. Чтобы работать на предприятии, нужно разбираться в сложном оборудовании. Опыт зачастую можно получить только на практике, а это опасно — есть риск травмы. К тому же можно повредить дорогостоящее оборудование. Использование VR-технологий помогает разорвать замкнутый круг: для специалистов разрабатывают специальные VR-тренажёры, которые помогают обучаться без риска для здоровья.

VR-тренажёр для специалистов сварочного производства от компании Promvr

● Архитектура и проектирование. Если при проектировании домов или промышленных зданий допустить ошибку, проект обойдётся намного дороже первоначальной стоимости. Используя VR, проектировщик видит объект в реальном масштабе и сможет оценить не только внешний вид, но и эргономику. Например, понять, где разместить оборудование, или убедиться, что здание соответствует нормам пожарной безопасности.