Als je met VR bezig bent en dan vooral geïnteresseerd in handtracking op de Oculus Quest, wordt het tijd om eens diep in de materie te duiken. Hoe maak ik zelf een VR app?
In 2015 heb ik al eens een VR/AR masterclass gedaan om meer te weten te komen hoe je een VR/AR experience moet aanpakken. Storytelling en hoe krijg je iemand mee in wat je laat ervaren. Bijvoorbeeld met geluid de aandacht trekken of de rendering beperken met een klein lichtje bijv. van een kaars. Alleen het verlichte deel is dan gerendered en dat scheelt performance, maar ook de focus.
Sinds mijn hernieuwde contact met de sint Maartens Kliniek in Nijmegen, ben ik een handtracking demo app gaan maken voor de Quest. In 2018 heb ik meegewerkt aan een VR4REHAB hackaton bij de sint Maartens Kliniek om VR in te zetten voor revalidatie. De vraag was toen aan het team waar ik zat: Is het mogelijk een VR app te ontwikkelen waar kinderen uit de piratengroep thuis met vriendjes kunnen blijven oefenen. Een goeie continuering van de revalidatie verhoogd enorm de kans om later een normaal leven met de disfunctionerende hand en arm te hebben. Door een hersenbeschadiging (cerebrale parese) is de hand / arm aangedaan. De kinderen oefenen in een piraten pak en revalideren in spelvorm.
In december 2020 heb ik een mogelijke methode gedemonstreerd om op een veilige manier remote te kunnen werken in VR. Daarnaast ben ik begonnen met studeren op het bouwen van een revalidatie spel voor de Oculus Quest. Het doel was handtracking te gebruiken omdat de controllers vaak te groot zijn voor de kinderen. Daarnaast hebben ze ook last van de aangedane hand. Het bedienen van de knoppen is dan lastig.
Na ca. 8 weken studie en bouwen/testen, is het gelukt om een app te bouwen, waar met handtracking ballen, kanonskogels en met blokken kan worden gewerkt. Het wisselen van de scenes gebeurd met pushbuttons en kan zonder het gebruik van controllers worden gedaan. Het heeft mij een hoop inzicht gegeven wat nodig is om je idee om te zetten in een VR app. Handtracking staat nog in de kinderschoenen, maar heeft een grote potentie. Het maakt het werken in VR een stuk natuurlijker.
De eerste versie wacht nu op publishing van Oculus App Lab om op een eenvoudige manier te installeren op de Quest. De demo app is gratis te installeren wanneer de validatie voltooid is:
https://www.oculus.com/experiences/quest/4266350876708239/
Ik blijf verder ontwikkelen, want terugkoppeling is ook iets wat een fysiotherapeut graag wil hebben. Je wilt ook de progressie kunnen meten.
Wat ben ik te weten gekomen in dit project?
- Wat is de ervaring van kinderen en therapeuten in een gedeelde VR wereld
- Bouwen van de app in Unity
- Programmeren in C# voor Unity, ook bestaande scripts gebruiken en ombouwen.
- Handtracking gebruiken met behulp van derden tools
- Gebruik van Oculus App Lab en de eisen die aan een App worden gesteld.
- Android Studio om de app te maken met de juiste rechten.
- Door het validatie proces van Oculus komen.
Met dank aan de de tutorials van Tony SkarredGhost met z’n Unity Cube https://skarredghost.com/2021/03/24/unity-unwanted-audio-permissions-app-lab/
Update mei
De app is online in de App Lab store! Dankzij een aanpassing volgens de leasons learned van Tony heb ik de rechten op de mircofoon aangepast in de androidmanifest file. Export de build naar een map en open deze met androidstudio. Wijzig de androidmanifest (delete de rechten op microfoon) en Rebuild de apk. (ook de juiste vertificaat store instellen!)
de App is te vinden in de Oculus App Lab store :