Innovatieproject: eXploRing VR, AR en MR

Extended reality maakt het onmogelijke mogelijk

De meeste mensen zullen vertrouwd zijn met virtual reality (VR): het gebruik van display- en interactietechnologie, meestal een op het hoofd gedragen apparaat met handcontrollers, die je volledig onderdompelt in een door de computer gegenereerde wereld. De technologie wordt, ook binnen de SURF-community, gebruikt voor entertainment, training & simulatie, onderwijs en onderzoek.

Maar de term extended reality (XR) is misschien minder bekend. XR is een overkoepelende term voor het volledige spectrum van technologieën en mens-computerinteracties, variërend van volledig virtuele omgevingen (VR) tot omgevingen die virtuele elementen combineren met een zicht op de echte wereld. Deze laatste vorm wordt meestal aangeduid als augmented reality (AR) of mixed reality (MR).

XR-technologie (dus alle VR, AR en MR) kan diverse rollen spelen in onderzoek en onderwijs in de SURF-gemeenschap, met verschillende toepassingen voor elk van de drie subgroepen van XR. Virtual reality kan worden gebruikt voor het aanbieden van virtuele omgevingen die anders moeilijk, onmogelijk of gevaarlijk zouden zijn om te creëren. Met behulp van augmented reality en mixed reality kunnen inzichtelijke leermaterialen of onderzoekstoepassingen worden gemaakt voor onderwerpen waar ruimtelijk inzicht belangrijk is, of waar een de werkelijkheid moet worden verrijkt met virtuele objecten of informatie.

Doel van het project

Aangezien het nog relatief vroeg is in de ontwikkeling en toepassing van XR-technologie zijn er een aantal uitdagingen in het gebruik van de technologie. Van het delen van kennis en applicaties, het leveren van XR-hardware aan grote groepen studenten, tot kwesties met betrekking tot privacy en ethiek.

Het doel van dit project is om samen met de SURF-gemeenschap een begin te maken met het gebruik van XR in onderzoek en onderwijs en een aantal van deze vraagstukken aan te pakken. Naar verwachting zullen in 2021 meer activiteiten volgen op het huidige project, op basis van de prioriteiten in het SURF 2Jarenplan 2021-2022.

Activiteiten

• Een overzicht en richtlijnen bieden aan diegenen binnen de SURF-community die zich vertrouwd willen maken met XR, of willen experimenteren met XR zonder over de vereiste technische kennis te beschikken. Hiervoor wordt binnen het project een toolkit "Getting started with XR" ontwikkeld die de basisprincipes samenvat en praktische richtlijnen geeft.
• Het gebruik van 360-video in VR is een relatief eenvoudige vorm van XR die veel interessante toepassingen heeft in training en onderwijs. Een bestaand 360-videoraamwerk van de Universiteit van Amsterdam wordt uitgebreid en krachtiger gemaakt, met als doel het vrij beschikbaar te maken binnen de Nederlandse onderzoeks- en onderwijsgemeenschap.
• Zoals in de inleiding vermeld, is VR als technologie vrij bekend, terwijl AR en vooral MR achterblijven in zichtbaarheid. Om meer inzicht te geven in de mogelijkheden van mixed reality bereiden we daarom een aparte blogpost voor over de Microsoft HoloLens 2. Dit zal een gedetailleerder overzicht geven van het apparaat, de mogelijkheden en de grenzen van het creëren van MR-ervaringen.
• Het gebruik van "social VR" wordt verder onderzocht. Dit is vooral relevant in de huidige situatie met betrekking tot covid-19, omdat het gebruik van VR-technologie meer immersieve sociale ervaringen en omgevingen kan bieden dan gewone videoconferencing. Maar het komt met zijn eigen uitdagingen (bijvoorbeeld de lage beschikbaarheid van VR-apparatuur).
• Een SURF-podcast over XR (zie onder).
• Tot slot is een nieuwe editie van het VARR Out-evenement (over Virtual en Augmented Reality for Research) gepland voor begin 2021. Een concrete datum moet nog bekend worden gemaakt. Een van de doelstellingen van dit evenement is om input te verzamelen voor toekomstige activiteiten in verband met het SUF 2Jarenplan 2021-2022.

Projectteam SURF

Paul Melis

Casper van Leeuwen

Ben de Vries

Samenwerkingspartners

Center for Innovation, Universiteit Leiden (Donna Schipper)

Universiteit van Amsterdam (Robert Belleman)

Technische Universiteit Delft (Arno Freeke)