Category: VR AR

Vorig jaar hield ik een presentatie op NLVMUG UserCON2017 met de stelling is VR ready voor het datacenter. Ik gaf een klein overzicht van de stand van zaken over hardware op dat moment en wat de beperkingen waren. Uiteindelijk zei ik dat de software in de Cloud kan draaien, maar een directe koppeling van een highend HDM een latency probleem zou geven.

Voor de duidelijkheid nog even de betekenis van de afkortingen:            

HDM	Head Mounted Display
PPI	pixels per inch (meer is beter)
FOV	Field of View (breedte gezichtsveld) groter is beter
IPD	Pupil Distance
6DoF	6 Degrees of Freedom, 6 richtingen, ook in de ruimte
3DoF	3 Degrees of Freedom, 3 richtingen zoals bij 360 video
Latency	Vertraging op de connectie
EyeTracking	Pupil wordt gevolg t.b.v. rendering of meten waar je naar kijkt. Dit zal rekenkracht reduceren en daarmee data overdracht
SDE	Screen Door Effect, afstand tussen de pixels, zodat er licht tussendoor komt bij LCD schermen. (Bekijk eens je telefoonscherm met een vergrootglas)

Nu een update van wat er nu beschikbaar is en wat er gaat komen. Ik gaf aan dat er een paar belangrijke hardware optimalisaties moesten komen op wat er toen beschikbaar was. Dat was de FOV (Field of View) die nu 100-110°graden is terwijl het normale zicht wat we hebben ca. 190° is. Verder de pixeldichtheid ppi met de resolutie van het scherm, hoe hoger hoe beter. Derde punt is of je een zware pc nodig hebt om de Headset op aan te sluiten of dat de headset AllinOne is, dus alle techniek in de bril.

Vandaag de dag zijn er nieuwe HMD (Head Mounted Displays) op de markt gekomen, maar ook nieuwe snellere videokaarten van nVIDIA. Was de snelste 1080ti (€ 850,-) , nu is er de 2080ti (€ 1350,-).

MSI 1080ti

                                                                 2080ti met realtime raytracing.

Daarnaast zijn er AllinOne headsets gekomen als de Oculus-GO en telefoons met OLED en grote schermen voor in een losse VR bril. Daarover later meer. Van best naar minder.

StarVR

Beste Headset was toen de StarVR. Deze is door IMAX geadopteerd om een highend VR beleving te krijgen. Een FOV van 210°, OLED schermen van hoge kwaliteit en 90 Hz refreshrate met auto IPD (pupil afstand). Helaas was die niet voor de consumenten markt beschikbaar en anders gigantisch duur. Nu is er een nieuwe versie: de StarVR One. Beschikbaar voor de kapitaalkrachtige consument, hoewel er geen prijs beschikbaar is, zul je daar waarschijnlijk wel een middenklasse auto voor kunnen kopen. FOV van 210° breed en 130° hoog, eyetracking om precies het deel waar je naar kijkt in hoge resolutie te laten zien, wat enorm in data zal schelen. Elk OLED scherm per oog wordt aan een eigen video kaart aangesloten. Dat zegt iets over de pc die er achter zit!

Update 09-01-2019

Helaas is de ontwikkeling stop gezet van de StarVR One eind vorig jaar. Waarschijnlijk zal dit het eind inluiden van de HDM. Ook heeft IMAX besloten de locaties met de StarVR te sluiten.

Pimax

OK stapje terug dan naar de gewonere consument: de Pimax ‘8k’ en ‘5k’. Ik richt me even op de ‘5k’. De headset van Pimax heeft ook een super FOV van 200°, maar heeft een LCD scherm. De lenzen geven een beeld wat voor games erg goed is. Omdat de LCD aangelicht moet worden, zal er in donkere scenes, zoals bij horror games in donkere ruimtes, altijd een grijzig beeld zijn. Het is niet als bij OLED uit is echt zwart. Bij LCD zal er altijd wat achtergrond licht doorkomen, waardoor het donker grijs wordt. De prijs zal ergens boven de € 1000,- voor de ‘8k’ uitkomen. De ‘8k’ variant heeft een hogere resolutie, maar heeft ook een stevige video kaart nodig. De verschillende videobloggers zijn wild enthousiast. Eén keer met een FOV van 200° een game gespeeld en de gewone headsets met 110° is een stap terug. Richtprijs $ 699,- voor de ‘5k’.

2560 × 1440 px (QHD) per eye, FOV 200°

update 09-01-2019

De pimax wordt eindelijk geleverd aan de backers. Op de CES 2019 is de versie met OLED schermen gepresenteerd. YouTubers als Sebastian Ang is razend enthousiast (MRTV) Dit is de beste na de StarVR wat voor consumenten te koop is.

Oculus

Voor games wil je een headset met controllers met een 6DoF (6 graden van vrijheid). In september heeft Oculus de Oculus Quest aangekondigd voor $ 399,- en die is voorjaar 2019 beschikbaar. OLED schermen, 6DoF, IPD (oog afstand in te stellen) en twee touch controllers. En dat alles Wireless, dus een AllinOne zonder PC. Dit wordt een betaalbare game headset voor de massa.

De Oculus-GO die nu beschikbaar is, is ook een AllinOne headset met OLED, maar is 3DoF (projectie zit vast aan je hoofd) en heeft alleen een controler om het menu aan te sturen. Er kan in een persoonlijke bioscoop naar YouTube worden gekeken. Goed voor 360° video en simpele games. De Oculus GO is er in twee smaken wat betreft de opslag: 32 GB voor €229,- en 64 GB voor ca. € 264,- de games kun je op de headset plaatsen.

 

Smart Phones

Samsung Note9 heeft een groot OLED scherm en past in een Samsung Gear bril. Ook dit is dan een AllinOne geworden.

Schermgrootte	6.4 inch
Resolutie	2960 x 1440
Schermtype	Amoled
Pixeldichtheid	514 ppi

Apple XS MAX is een smartphone met OLED scherm. Deze moet in een losse VR bril (bijv. de Zeiss VR OnePlus) worden geplaatst om ook als AllinOne te werken.

Schermgrootte	6.5 inch
Resolutie	2688 x 1242
Schermtype	Super Amoled
Pixeldichtheid	458 ppi

3D 360° Filmcamera’s

Op het Facebook event waar de Oculus Quest is gelanceerd, werd ook de nieuwe 3D 360°camera Manifold getoond. De beelden die de camera levert, zijn zelfs met 6DoF te zien. Voorwerpen in de diepte bewegen als je iets opzij stapt. Dit is wat we in het echt ook ervaren. De intensiteit van de beleving is zo vele malen groter. Zeker geen consumenten camera.

    

Consumenten camera zou de Sonicam kunnen zijn. 3D 360° en met spatial audio. ($3999,-)

bronnen: @Road2VR, @UPloadVR, VoodoDE VR en MRTV on YouTube, Azerty, product sites en VRDays2018.

Onlangs heb ik op de NLVMUG 2017 in Den Bosch een presentatie gegeven. In mijn presentatie stond de vraag centraal: Is AR/VR klaar voor het datacenter?

De ontwikkelingen.

Al een paar jaar volg ik de ontwikkelingen VR. Ik heb mij vorig jaar meer verdiept in AR en VR. In 2001 was ik ook een pionier met VMware virtualisatie, nu groeit mijn interesse in de VR revolutie. Ik bezoek nu regelmatig de meetups op de VRbase in Amsterdam. Onlangs heb ik een masterclass AR en VR storytelling gevolgd bij LavaLab in Amsterdam om meer te weten te komen hoe een AR/VR toepassing gemaakt wordt. Leuk was ook te zien wie zich daar mee bezig houden. In ieder geval mensen die in een inspirerende omgeving willen werken. Passie is alles.

Wat is ook alweer AR en VR? en wat heb je daarbij nodig aan hardware.

Augmented Reality is de werkelijke wereld waaraan een digitale projectie aan toegevoegd wordt, terwijl een Virtual Reality wereld een gesloten wereld is. Er is hier juist geen contact met de werkelijke wereld om je heen.

Ik zie duidelijke parallellen tussen AR en VR en toen ik begon met VMware virtualisatie. Ook toen waren we pioniers waar van velen dachten: dat gaat niets worden. Er moesten 15 jaar overheen gaan om virtuele machines heel normaal te vinden. De VR wereld zit ook in de begin fase en zie je ook scepsis.

De grootste hobbel is dat je veel dure spullen moet hebben om de juiste ervaring te beleven. De goedkope alternatieven zijn meer kinderspeelgoed. Head Mounted Display’s en de daarbij behorende PC is kostbaar, 360 3D camera’s zijn kostbaar, een optimale smartphone met HDM is kostbaar. Voor de consument is een instap van € 1000,- nog te veel. Alleen de hardcore gamers hebben al flink geïnvesteerd.

In dit blog neem ik u mee waarom ik zie dat de ontwikkeltoekomst in het datacenter kan liggen. Alle content die gemaakt moet worden is grafisch en rekenintensief. Dat kan op een lokale machine, maar het delen van de power van het datacenter is handig. Een virtuele machine mij heeft gered tijdens de masterclass AR/VR.

iPhone miskoop?

Jasper Brekelmans laat zien dat met de Hololens dans kan worden bestudeert. De danseres kan zichzelf zien en kan haar eigen bewegingen corrigeren. De snelheid van ontwikkeling van tracking van het lichaam is enorm. Elke maand is er wel weer een nieuwe toepassing. Handbewegingen in games gecombineerd met de realiteit. AR en VR zal de grootste impact hebben op de trainingsmarkt. Denk hierbij aan het oefenen van medische operaties en het bedienen van gevaarlijke machines.

Ook de hardware ontwikkeld zich razend snel. Herkend u zich in de hoeveelheid afstandsbedieningen die u ongetwijfeld heeft? Wat eerst mooi met elkaar werkte bestaat opeens uit een aantal dingen die niet meer samen werken. Infrarood was de standaard en nu komt RF steeds meer in gebruik.

Hardware en technieken worden soms los van elkaar ontwikkeld en de samenhang is er niet. Vorig jaar dacht ik, dat ik met mijn nieuwe iPhone 6s de eerste stap naar Apple, voorlopig vooruit kon. Prima smartphone maar kort daarna werd ik door AR en VR gegrepen en bleek dat mijn telefoonscherm niet voldoet voor een HMD. Je ziet duidelijk de pixels. De S7 van Samsung was veel beter met z’n OLED scherm. De kwaliteit is voor de instap in de consumentenmarkt al erg goed en wordt ook professioneel al omarmt. O.a. de The VR Cinema van Samhoud gebruikt hem.

28 maart 2017 wordt de nieuwe S8 gelanceerd met een nog beter scherm (misschien 4K OLED?). Er gaan geruchten dat Apple nu ook een OLED scherm van LG in de nieuwe iPhone8 gaat zetten. Apple doet nu nog niets met AR en VR, maar gaat waarschijnlijk op AR inzetten. Samenwerking met een Israëlisch bedrijf wijst hierop.

Belangrijke vraag is natuurlijk hoe bereik ik het grote publiek? Als je naar de adoptie van 3D TV kijkt gaat dat moeizaam. Die is al weer op z’n retour.

Mijn ervaring is, dat van mijn Youtube films in 2D en 3D, er maar 10% naar 3D gekeken wordt. Met de 360 graden film is dat al veel moeilijker. Dat kan alleen met een HMD een intense beleving geven en dan moet je eigenlijk ook nog eens in 3D Highend gefilmd zijn. Je hebt dus de juiste content nodig en ook nog eens de beste hardware. Net als ik met mijn telefoon: kies je net het verkeerde, dan baal je als een stekker. Professionele 360 3D camera’s en storytelling technieken. Alles is anders en moet opnieuw worden uitgevonden.

Hoe krijg je de beste 360 film bij het publiek? Uploaden naar Youtube of Facebook of via een App zoals JauntVR.

Parrallel met virtualisatie.

Herkennen we dat van virtualisatie? Tekortkomingen zijn net de verkeerde hardware gekocht. Hebben we wel de goede spullen, dan is er weer motion sickness. De reactie van Mathijs van Nieuwkerk met zijn virtuele achtbaan ervaring op de Oculus? Je hersenen denken dat je beweegt maar je lichaam beantwoord dat niet. Er is onbalans. Sixflags heeft de achtbaan uitgebreid met VR. Dat is in overeenstemming met de beweging en geeft een intense VR beleving.

Er zijn nu verschillende HDM’s op de markt voor AR en VR. Ik noem de Hololens en Meta2 voor AR en de Oculus Rift en HTC Vive voor VR. Grote koekblikken op je hoofd. Als we een 3D bril al niet opzetten, waarom dan wel een HDM? Wat zijn de nog te nemen horden? Misschien wel het belangrijkste is de duur van kijken. Nu nog maar 8-10 min. De beste kwaliteit schermen zijn nodig, hoge pixel dichtheid, grotere FOV (field of view), meer bewegingsvrijheid, meer draagcomfort enz. zijn nodig om AR/VR groots te omarmen.

Hierom moet de pixeldichtheid zo groot mogelijk zijn: je telefoonscherm wordt nog eens gehalveerd om per oog een beeld te vormen. Het ecosysteem moet worden opgebouwd. IMAX heeft 50 miljoen in de VR bril van StarVR (210 FOV) gestoken en onlangs de eerste VR bioscoop in Los Angeles geopend.

Masterclass AR project op virtuele desktop.

Een AR project, wat ik gemaakt heb in de masterclass AR/VR bij LavaLab, heb ik op een virtuele machine gemaakt. Ik ben die masterclass gaan doen om ook te kijken wat voor mensen nu al in deze wereld werken. Vooral jonge mensen, draadloos werkend met Apple Macbooks en deze willen zeker niet in het standaard kantoor zitten.

Is AR en VR klaar voor het datacenter? Ja, ik zie nu al jonge starters die voor een paar tientjes een Highend desktop in de cloud huren voor een project (bijv. sixa.io ). Net zoals ik het probleem tegen kwam om de software te installeren op mijn laptop. Een cloud desktop met GPU en machtige performance hoef je niet zelf aan te schaffen.

De virtuele desktop draait op mijn homelab thuis en ik kon over een matige WiFi verbinding, waar iedereen op zat, hierop mijn project maken. Alle downloads die ik nodig had kwamen thuis veel sneller binnen dan mijn collega’s via Wifi. Zijn er ook nadelen? Ja, het VR project had een 2 Gb aan data nodig die ik dus moest uploaden van een USB stick. Dat ging niet over die slechte verbinding. Helaas was deze oefening de tweede dag en kon ik dat niet thuis al klaarzetten. Later heb ik thuis dit project nog eens overgedaan in de virtuele ontwikkel omgeving.

Je ziet dat het kan en ik heb gezien dat in deze wereld veel jonge mensen werken die soms de cloud al gebruiken voor hun werk. Jonge startups hebben vaak geen middelen om dure eigen datacenters te bouwen, terwijl ze wel zien, dat het delen van resources beter is.

Is AR/VR klaar voor het datacenter? Ik denk van wel.

De ontwikkel software kan op een virtuele machine in het datacenter draaien. Hoelang gaat het duren voor de hardware kleiner en beter wordt? Zelf denk ik nog wel een jaar of 5. Om de grote massa te bereiken, zullen de HDM’s goedkoper en beter moeten worden. De smartphone zal niet alleen meer voor telefoon en Apps worden gebruikt, maar ook als display device voor AR en VR. De AR zal naar schatting 4 keer groter worden in business dan VR. Dus een smartphone met 5G zal nodig zijn om grote hoeveelheid data aan te kunnen en tevens de roomspace te vergroten. Nauwkeurige GEO positie bepaling kan de huidige trackers in de toekomst vervangen. Digi-Capital voorspeld dat de AR/VR business naar 150 Miljard zal groeien in 2020.