Granica między rzeczywistością a światem wirtualnym coraz bardziej się zaciera. Nasze życie zmieniło się diametralnie w ostatnich kilkunastu latach. Po pierwsze, pojawiły się komputery osobiste, które ułatwiły pracę. Następnie smartfony zawojowały światem sprawiając, że każdy miał swój komputer i dostęp do internetu na wyciągnięcie ręki. Oferta usług i możliwości które daje obecnie internet sprawia, że nie musimy w ogóle wychodzić z mieszkania aby zjeść, pracować i odpoczywać przy kinowych hitach. Jednak okazuje się, że to nie koniec wielkich zmian spowodowanych pojawieniem się kolejnej technologii przyszłości. Na początku roku byliśmy świadkami premiery najnowszego projektu firmy Apple czyli gogli Vision Pro. Narzędzie spotkało się z mieszanym odbiorem społeczności. Z jednej strony jest to drogie urządzenie którego cena w dniu premiery wynosiła 3500$ (dla porównania konkurencyjne gogle Meta Quest 3 można nabyć już za 500$). Z drugiej jednak strony oferuje on szereg udoskonaleń w porównaniu do obecnie dostępnych rozwiązań tego typu dostępnych na rynku. Apple Vision Pro posiada znacznie więcej sensorów, dzięki którym jest w stanie śledzić ruchy naszych rąk bez użycia dodatkowego kontrolera. Dodatkowo zapewnia on kompatybilność z innymi urządzeniami tej firmy co sprawia, że jest to atrakcyjne rozszerzenie dla posiadaczy innych urządzeń firmy Apple. W tym momencie można zacząć zastanawiać się w którą stronę zostanie rozwinięta ta technologia. Ale zanim przejdziemy do tychże rozważań, wprowadzimy podstawowe pojęcia, których dobre zrozumienie będzie niezbędne w dalszej części bloga.

Czym jest Mixed Reality?

Aby mówić o rzeczywistości mieszanej (z ang. Mixed Reality, MR), musimy najpierw powiedzieć sobie o jej dwóch prekursorach: rzeczywistości wirtualnej (z ang. Virtual Reality, VR) oraz rzeczywistości rozszerzonej (z ang. Augmented Reality, AR).

Za prekursorów VR można uznać urządzenia stereoskopowe, wynalezione w 1838 roku. Były to początkowe prototypy dzisiejszych okularów 3D i miały parę luster ustawionych pod kątem 45 stopni do oczu użytkownika, co tworzyło niezbędną głębię i objętość prezentowanego obrazu. Urządzenia te powstały jeszcze przed powstaniem praktycznego procesu fotograficznego, więc korzystano z rysunków.

W roku 1935 pojawiło się pierwsze zarejestrowane odniesienie do rzeczywistości wirtualnej w książce Stanley’a G. Weinbauma, Pygmalion’s Spectacles. Była ona inspiracją do stworzenia Sensoramy: urządzenia do doświadczania filmów za pomocą wszystkich 5 zmysłów.

W międzyczasie, wojsko testowało różne rozwiązania do trenowania pilotów, ale przełom nastąpił dopiero w 1981, kiedy NASA rozpoczęła pracę nad Virtual Interface Environment Workstation (VIEW) – pierwszym systemem łączącym grafikę komputerową, obrazowanie wideo, dźwięk 3D, rozpoznawanie i syntezę głosu oraz wyświetlacz montowany na głowie (z ang. head-mounted display, HMD).

Wszystkie z powyższych urządzeń były raczej trudno dostępne dla przeciętnego człowieka. W ten sposób dochodzimy do lat ‘90-tych, gdzie zaczęły pojawiać się pierwsze rozwiązania dostępne dla szerszego grona odbiorców, jak na przykład Virtual Boy, konsola 3D stworzona przez Nintendo.

Zanim jednak VR weszło na poważnie do mainstreamu, musiało minąć kolejne 20 lat. Wtedy zaczęły powstawać dobrze nam znane urządzenia jak Oculus Rift, PlayStation VR, Google Cardboard, HTC Vive, Samsung Gear VR i wiele innych.

Tak przedstawia się historia VR. AR powstawała bardzo podobnie, czyli najpierw jako technologia militarna, która dopiero niedawno, wraz z wynalezieniem smartfonów, stała się popularna wśród mas.

Czym jednak różnią się AR i VR i jak to się ma do MR?

Zapewne większość z was miała kontakt z AR na przykład poprzez filtry w popularnych aplikacjach jak Snapchat czy Instagram, bądź grała czy chociaż słyszała o Pokemon GO. W augmented reality informacje cyfrowe są nałożone na obraz świata rzeczywistego. Mogą to być proste grafiki, animacje czy modele 3D. Przykładowo, Google Maps pomagają w nawigacji za pomocą strzałek i innych informacji nałożonych na strumień wideo z kamery naszego smartfona. Z kolei wspomniane Pokemon GO może wyświetlić nam Pokemona stojącego na ścieżce w parku, tworząc iluzję jakby był tam naprawdę. Jednakże w żadnym z tych przypadków nie jesteśmy w stanie bezpośrednio wejść w interakcję ze wspomnianymi strzałkami czy Pokemonem i musimy użyć do tego smartfona – co oczywiście psuje immersję.

Z kolei o VR większość z was z pewnością słyszała, ale domyślam się, że nie każdy miał okazję z niej skorzystać. Najpopularniejszą formą wykorzystania VR jest rozrywka w formie gier wideo czy filmów, która pozwala na pełne zanurzenie się w wirtualnym świecie i interakcję z nim poprzez ruchy naszego ciała – czasami wymaga to wciąż używania kontrolerów różnego rodzaju ale jest to bez wątpienia bardziej immersyjne doświadczenie.

Mixed Reality próbuje połączyć oba te światy: widok świata rzeczywistego z nakładkami AR wraz z immersyjnymi interakcjami z nimi wywodzącymi się z VR.

Gogle Virtual Reality jako furtka do Mixed Reality

Wiemy już czym jest mixed reality. Teraz przejdziemy do tego jak można wykorzystać ten koncept w praktyce. Obecnie pierwsze co przychodzi nam do głowy mówiąc o mixed reality to gogle podobne do Vision Pro. I jest to bardzo dobre skojarzenie, bo obecnie to wykorzystanie mixed reality jest najpopularniejsze. Gogle te wykorzystywane są w wielu dziedzinach. Postaramy się w pewnym stopniu przybliżyć najważniejsze wykorzystanie takich gogli.

Rozrywka

Skoro gogle do mixed reality mogą symulować relatywnie każde otoczenie, stanowi to niezwykle szerokie pole do kreowania ciekawych rozwiązań jeśli chodzi o sektor rozrywkowy. Kreowanie unikalnego miejsca gier poprzez generowanie scenerii przez gogle VR zwiększa immersję ze światem gry u graczy. Dodatkowo takie rozwiązanie sprawia, że możemy włączyć aktywność fizyczną w rozgrywkę co stanowi świetne rozwiązanie dla osób aktywnych. Jedną z takich gier jest Beat Saber. Jest to tzw. gra rytmiczna, która polega na poruszanie kontrolerem w określony sposób, tak aby rozcinać nadlatujące klocki oraz unikaniu przeszkód pojawiających się wraz z postępem danego poziomu. Wszystko to odbywa się w rytm utworu muzycznego. Istnieje możliwość tworzenia poziomów w grze od zera, co sprawia, że gra ma bardzo duże community. Poniżej znajduje się screenshot z rozgrywki z Beat Saber.

Innym przykładem popularnej gry na gogle VR, która łączy w sobie wcześniej wspomniane cechy jest Super Hot. Jest to rodzaj strzelanki, której główną własnością jest to, że kiedy nie wykonujesz żadnego ruchu kontrolerem, czas jak gdyby zastygał. Przeciwnicy pojawiają się w lokacjach a następnie atakują nas z różnego rodzaju broni. Bronie możemy zdobywać z różnych miejsc danej lokalizacji. Naszym zadaniem jest wyeliminować wszystkich przeciwników. Dzięki temu przechodzimy do kolejnego poziomu i kolejnej lokalizacji.

Medycyna

Google VR są stosowane również w Medycynie. Jednym z zastosowań rzeczywistości wirtualnej w medycynie są operacje w wirtualnej rzeczywistości.. VR jest wykorzystywany do obserwacji trójwymiarowych operacji serca, oczu, stawów itp. W branży medycznej istnieje wiele firm które skutecznie wykorzystują VR. Wyniki zastosowania VR są imponujące. Na przykład chirurdzy zdołali rozdzielić bliźniaki z połączonymi mózgami, korzystając właśnie z tej technologii. Innym przykładem użycia jest trenowanie przez studentów medycyny na goglach VR, aby przygotować się przed operacjami na pacjentach.

Wojsko

Jak już wspominaliśmy ogromny wpływ na rozwój mixed reality miało wojsko. Obecnie czerpie ono w znacznym stopniu z dokonań technologii mixed reality. Technologia MR jest już częścią szkoleń i operacji wojskowych. Armia Stanów Zjednoczonych wykorzystuje wersje zestawów słuchawkowych HoloLens AR jako część zintegrowanego systemu wizualnego wzmocnienia (IVAS), co pozwala żołnierzom wizualizować strategiczne dane, widzieć wokół zakrętów i przez ściany oraz zapewniać komunikację w czasie rzeczywistym z resztą zespołu. Technologia MR jest także wykorzystywana przez US Navy do celów szkoleniowych. Na potrzeby szkoleń IVAS zapewnia realistyczne symulacje w różnych gałęziach sił zbrojnych. Na przykład, jeśli szkolisz się, jak operować czołgiem na pustyni w ciągu dnia, ale twoja baza ma dostęp tylko do obszarów miejskich i budynków, możesz użyć IVAS do symulacji jazdy czołgiem po drogach szutrowych  i przez wydmy. Sprawia to, że szkolenie staje się bardziej realistyczne i dając żołnierzom więcej doświadczenia z różnymi warunkami, które mogą napotkać.

Co nadchodzi?

Oprócz powyżej wymienionych obszarów, w którym Mixed Reality się już całkiem nieźle zadomowiła, artykuł “Mixed Reality: The Interface of the Future”  zwraca uwagę na kilka innych aplikacji, które mogą zdobywać na popularności w niedalekiej przyszłości.

Inteligentna Edukacja

Ostatnie badania [Pridhvi et al., 2018] dotyczące zastosowania MR w edukacji sugerują, że jej zastosowanie ułatwia uczniom przyswajanie trudnych tematów w przedmiotach ścisłych, poprzez na przykład wizualizację  molekuł chemicznych czy rysowanie grafów i wykresów funkcji matematycznych.

MR może także usprawnić lekcje historii i architektury, pozwalając uczniom zwiedzić miejsca i zabytki bez potrzeby kosztownych podróży, a także lekcje biologii poprzez możliwość przyjrzenia się z bliska zwyczajom i zachowaniom niebezpiecznych zwierząt.

Inżynieria i Budownictwo

W sektorze budownictwa dochodzi do częstych niebezpiecznych sytuacji, którym da się przeciwdziałać poprzez usprawnienie komunikacji między pracownikami. Badania z 2018 roku (Fei Dai et

al.) pokazują, że wykorzystanie holograficznych gogli Hololens skutecznie poprawiło bezpieczeństwo pracowników obecnych na terenie budowy. Podczas badań pozytywny wpływ tego rozwiązania dało się zaobserwować w 58% przypadków, zaś w 34% był neutralny dla bezpieczeństwa. Narzędzie to powstawało w ścisłej konsultacji z naukowcami i budowniczymi.

Handel

Mixed Reality może wspierać ludzi podczas zakupów poprzez na przykład umożliwienie wizualizacji mebli we własnym domu za pomocą smartfona, czy też poprzez udostępnienie modeli 3D produktów. Dzięki temu możemy bez wychodzenia z domu sprawdzić czy wybrane meble będą pasować do naszego mieszkania, bez konieczności wykonywania czasochłonnych i kosztownych zwrotów.

Co niesie przyszłość?

Możemy też popatrzeć w naszą magiczną kulę i spróbować przewidzieć, w jakim kierunku podąża Mixed Reality, i z jakimi zagrożeniami może się wiązać jej wszechobecna adopcja. W ostatnich latach masowa adopcja VR była dosyć powolna i zamykała się głównie w obszarze rozrywki, zwłaszcza w postaci gier komputerowych. Było to głównie spowodowane dosyć wysokim finansowym progiem wejścia jak i ograniczoną przenośnością czy wygodą używania. Te bariery jednak już teraz stają się coraz mniejsze i patrząc na to jak szybko rozwija się technologia, spodziewamy się że wygoda będzie się tylko poprawiać a i wraz ze wzrostem wartości rynku MR, próg wejścia do niej będzie coraz mniejszy. W szczególności całkiem prawdopodobne wydaje się pojawienie się nowych form interakcji z MR, innych niż Gogle czy okulary. Część z nich jeszcze niedawno była fikcją wyjętą wprost z Gwiezdnych Wojen, jak hologramy, transparentne opaski czy tzw. HUDy, a teraz wydaje się być kwestią maksymalnie kilku lat.

Jednakże, jak praktycznie każda nowa technologia, tak również i ta wiąże się z zagrożeniami. Jednego z nich byliśmy już świadkami, gdy w roku 2020 zostaliśmy przymusowo zamknięci w naszych domach z powodu epidemii SARS-CoV-2. Ludzie przenieśli się wtedy do świata wirtualnego i interakcje międzyludzkie zostały często zredukowane do wiadomości tekstowych, co oczywiście odbiło się na zdrowiu psychicznym i spowodowało znaczny wzrost ludzi z depresją. Podobne skutki może mieć wejście do mainstreamu rozwiązań mixed reality – na początku zmniejszenie interakcji międzyludzkich poprzez zastąpienie ich wirtualnymi zamiennikami, a później spadek samopoczucia uczestników.

Natomiast integracja MR wydaje się być nieunikniona i to, jaki wpływ będzie mieć na nasze życie zależy w znacznej mierze od nas samych.

 

Źródła:

Różnice między AR i MR: https://bernardmarr.com/the-important-difference-between-augmented-reality-and-mixed-reality/

Różnice oraz podobieństwa pomiędzy AR, VR i MR: https://www.techtarget.com/searcherp/feature/AR-vs-VR-vs-MR-Differences-similarities-and-manufacturing-uses

Ewolucja AR oraz VR: https://ijrpr.com/uploads/V4ISSUE4/IJRPR12239.pdf

Historia Virtual Reality: https://ib.cricket/the-story-of-virtual-reality/

Jak wojsko używa MR: https://www.warfighterpodcast.com/blog/how-is-the-military-uses-mixed-reality-mr-for-training-and-operations/

Zestawy do VR: https://en.wikipedia.org/wiki/Virtual_reality_headset

Wykorzystanie VR w medycynie: https://wear-studio.com/vr-in-healthcare/

Mixed Reality jako interface przyszłości: https://arxiv.org/pdf/2309.00819.pdf