Steam VR games in Occulus Quest

Running Virtual Desktop in the Quest and added streaming apk with SideQuest, SteamVR games are running in the Quest. Screen Quest is live recorded in Quest itself !

I played some VR games like FlyInside and Google Earth VR in the Quest and was surprised by the quality. FlyInside is an flight sim where you really sitting in the cockpit. Most of buttons and handles are activated by touching with your virtual hands. Even sitting on a fixed chair, it feels very immersive to dive in a turn.

Flying in Google Earth VR is amazing. Search your home and fly around in 3D. Step in the 360 streetview and be really there.

135’’ monitor for € 500,- ?

Oculus Quest VR HMD!

The larger the monitor (or more), the more efficient you can work, has been known for years. Multiple application Windows side by side works a lot faster. What if you have a super large screen and a high resolution? What does that extra convenience cost? Is that possible for € 500?

Since a month I have had the Oculus Quest, the cable-less VR headset from Oculus. This 6dof HMD (6 degree of freedom head mounted display) with OLED screen is extremely suitable for use with a virtual desktop. The headset is connected via 5 GHz Wi-Fi network to a PC in the same network. The Quest App Virtual Desktop connects to the PC on which a stream client is installed. You can connect up to 4 PCs in this way. The video card of the PC sends a high resolution image to the headset. So you have a super monitor on your PC but then in Virtual Reality!

Everything that runs on your PC can now also be seen in the Oculus Quest. From all games to standard programs such as Word and the browser. Even 3D side by side movies are played in 3D with a VLC player. The environment in which that can be seen, can be an Auditorium or cinema. You sitting in front of the large screen, but also a virtual office is possible.

Working on the VR desktop

How can you type? Typing texts is done with the controllers, which takes a virtual keyboard and allows you to type two fingers. If you can type blind, then a Bluetooth keyboard can come true. Furthermore, with the pointer of the controller you can simply open all programs as if you were using a mouse.

You will think nicely, work in my own bubble, but what will it cost? First you need an Oculus Quest for € 450 (64 GB mem, you stream everything) and Virtual Desktop App of € 19.99 via the Oculus store. You can download the stream agents for different OSs on the Virtual Desktop site. You can also download the apk that Oculus had ordered to remove from the App: SteamVR games can also be streamed in VR to the headset! This apk can be placed on your HMD with SideQuest.

Once you have started the Virtual Desktop App you can choose which PC you want to connect, but that can also become automatic if you only have 1 PC of course. The image quality can be adjusted, but depends on the video card. I have a GeForce GTX 1660 Ti, the new NVidia without raytracing, comparable to the GTX 1070 Ti. You can see in the Virtual Desktop settings screen that the GPU is doing a good job. Ca. 80% with a frame rate of 72 Hz.

VMware Horizon 7.9 virtual desktops

In addition to a physical PC connection, I have also connected a virtual desktop of VMware Horizon 7.8 with two monitors. Just add a streaming agent in the Linked Clone and AppVolumes in the Appstack with agents and ensure that the desktop is in the same network as the Wi-Fi of the Headset. Connect in the headset and you will see one monitor, but can switch between the available monitors. (or 4 in Horizon 7.9) screens. On a mobile headset like the Oculus Quest is only one screen visible because the processor power of the headset is less than an HMD like Oculus Rift, that is tethered to an GPU in the PC. Quality of course dependents on the video card in the server. A vGPU system is highly recommended. VMware Horizon 7.9 supports now NVidia T4 cards.

note: only NVidia drivers with vGPU pass-trough can accessed. VMware VGA driver cannot connect!

Virtual workspace in VR/AR?

My last presentation on the VMUG TechCon in March was all about how the journey of VR/AR is running into the future. After a few years there are several new products to make 2019 the year of VR.

VR creates an immersive virtual world. AR let you enhance the real world with digital add-ons. Better display’s, wireless and easy to use 6dof (6 degree of freedom) are available now. The best HMD (head mounted displays) are the HMD with more than 180 degree FOV (field of view). StarVR, X-TAL and consumer friendly PIMAX produce these. All connected to a big PC.

I was waiting for the new Oculus Quest and happy to be an owner now. After a few weeks working with this device, I’m very excited about the potential of this headset. No wires, easy setup and 6dof. Streaming the user view to Chromecast v3 on a big TV is great for the others, watching why you are running around with funny moves.

Everything is bigger and immersed in the headset: You don’t need a big TV (3D) to watch movies ore Netflix. 360 photos and videos are now the ‘real’ world. With a stream application ALVR, it’s possible to stream content from you PC. SteamVR games run in the Quest. Not all high end games, but Google Earth VR is working well. Fly over your hometown in 3D and visit places on the whole world. Even the Desktop of your PC is on a very big screen available.

What if we can create a virtual workspace in VR with all the screens we need (more is more productive), team meetings virtual in the same room we live video communication? It’s possible with ‘BigScreen’ but more professional in vSpatial. This could be the workspace of the future. Running virtual desktops in the cloud and share with the team. vSpatial is working on the Quest version. I can’t wait its ready.

Flying around the world to meet members in the project is reduced with this technology. It save more time and CO2 , save the environment. Just to drink a beer together we must physically meet, so do not replace all by virtual. All my earlier bought stuff and profession experience is coming together in the Oculus Quest. My first 3D video camera, Samsung Gear360 camera and virtual desktops. If you see the right path, every investment in time and money is worth of it. Join the journey!

Stand van VR/AR okt 2018

Vorig jaar hield ik een presentatie op NLVMUG UserCON2017 met de stelling is VR ready voor het datacenter. Ik gaf een klein overzicht van de stand van zaken over hardware op dat moment en wat de beperkingen waren. Uiteindelijk zei ik dat de software in de Cloud kan draaien, maar een directe koppeling van een highend HDM een latency probleem zou geven.

Voor de duidelijkheid nog even de betekenis van de afkortingen:            

HDM  Head Mounted Display
PPI pixels per inch (meer is beter)
FOV Field of View (breedte gezichtsveld) groter is beter
 IPD   Pupil Distance
6DoF 6 Degrees of Freedom, 6 richtingen, ook in de ruimte
3DoF 3 Degrees of Freedom, 3 richtingen zoals bij 360 video
Latency  Vertraging op de connectie
EyeTracking Pupil wordt gevolg t.b.v. rendering of meten waar je naar kijkt. Dit zal rekenkracht reduceren en daarmee data overdracht
SDE Screen Door Effect, afstand tussen de pixels, zodat er licht tussendoor komt bij LCD schermen. (Bekijk eens je telefoonscherm met een vergrootglas)

Nu een update van wat er nu beschikbaar is en wat er gaat komen. Ik gaf aan dat er een paar belangrijke hardware optimalisaties moesten komen op wat er toen beschikbaar was. Dat was de FOV (Field of View) die nu 100-110°graden is terwijl het normale zicht wat we hebben ca. 190° is. Verder de pixeldichtheid ppi met de resolutie van het scherm, hoe hoger hoe beter. Derde punt is of je een zware pc nodig hebt om de Headset op aan te sluiten of dat de headset AllinOne is, dus alle techniek in de bril.

Vandaag de dag zijn er nieuwe HMD (Head Mounted Displays) op de markt gekomen, maar ook nieuwe snellere videokaarten van nVIDIA. Was de snelste 1080ti (€ 850,-) , nu is er de 2080ti (€ 1350,-).

MSI 1080ti

                                                                 2080ti met realtime raytracing.

Daarnaast zijn er AllinOne headsets gekomen als de Oculus-GO en telefoons met OLED en grote schermen voor in een losse VR bril. Daarover later meer. Van best naar minder.

StarVR

Beste Headset was toen de StarVR. Deze is door IMAX geadopteerd om een highend VR beleving te krijgen. Een FOV van 210°, OLED schermen van hoge kwaliteit en 90 Hz refreshrate met auto IPD (pupil afstand). Helaas was die niet voor de consumenten markt beschikbaar en anders gigantisch duur. Nu is er een nieuwe versie: de StarVR One. Beschikbaar voor de kapitaalkrachtige consument, hoewel er geen prijs beschikbaar is, zul je daar waarschijnlijk wel een middenklasse auto voor kunnen kopen. FOV van 210° breed en 130° hoog, eyetracking om precies het deel waar je naar kijkt in hoge resolutie te laten zien, wat enorm in data zal schelen. Elk OLED scherm per oog wordt aan een eigen video kaart aangesloten. Dat zegt iets over de pc die er achter zit!

Update 09-01-2019

Helaas is de ontwikkeling stop gezet van de StarVR One eind vorig jaar. Waarschijnlijk zal dit het eind inluiden van de HDM. Ook heeft IMAX besloten de locaties met de StarVR te sluiten.

Pimax

OK stapje terug dan naar de gewonere consument: de Pimax ‘8k’ en ‘5k’. Ik richt me even op de ‘5k’. De headset van Pimax heeft ook een super FOV van 200°, maar heeft een LCD scherm. De lenzen geven een beeld wat voor games erg goed is. Omdat de LCD aangelicht moet worden, zal er in donkere scenes, zoals bij horror games in donkere ruimtes, altijd een grijzig beeld zijn. Het is niet als bij OLED uit is echt zwart. Bij LCD zal er altijd wat achtergrond licht doorkomen, waardoor het donker grijs wordt. De prijs zal ergens boven de € 1000,- voor de ‘8k’ uitkomen. De ‘8k’ variant heeft een hogere resolutie, maar heeft ook een stevige video kaart nodig. De verschillende videobloggers zijn wild enthousiast. Eén keer met een FOV van 200° een game gespeeld en de gewone headsets met 110° is een stap terug. Richtprijs $ 699,- voor de ‘5k’.

2560 × 1440 px (QHD) per eye, FOV 200°

update 09-01-2019

De pimax wordt eindelijk geleverd aan de backers. Op de CES 2019 is de versie met OLED schermen gepresenteerd. YouTubers als Sebastian Ang is razend enthousiast (MRTV) Dit is de beste na de StarVR wat voor consumenten te koop is.

Oculus

Voor games wil je een headset met controllers met een 6DoF (6 graden van vrijheid). In september heeft Oculus de Oculus Quest aangekondigd voor $ 399,- en die is voorjaar 2019 beschikbaar. OLED schermen, 6DoF, IPD (oog afstand in te stellen) en twee touch controllers. En dat alles Wireless, dus een AllinOne zonder PC. Dit wordt een betaalbare game headset voor de massa.

De Oculus-GO die nu beschikbaar is, is ook een AllinOne headset met OLED, maar is 3DoF (projectie zit vast aan je hoofd) en heeft alleen een controler om het menu aan te sturen. Er kan in een persoonlijke bioscoop naar YouTube worden gekeken. Goed voor 360° video en simpele games. De Oculus GO is er in twee smaken wat betreft de opslag: 32 GB voor €229,- en 64 GB voor ca. € 264,- de games kun je op de headset plaatsen.

 

Smart Phones

Samsung Note9 heeft een groot OLED scherm en past in een Samsung Gear bril. Ook dit is dan een AllinOne geworden.

Schermgrootte 6.4 inch
Resolutie 2960 x 1440
Schermtype Amoled
Pixeldichtheid 514 ppi

Apple XS MAX is een smartphone met OLED scherm. Deze moet in een losse VR bril (bijv. de Zeiss VR OnePlus) worden geplaatst om ook als AllinOne te werken.

Schermgrootte 6.5 inch
Resolutie 2688 x 1242
Schermtype Super Amoled
Pixeldichtheid 458 ppi

3D 360° Filmcamera’s

Op het Facebook event waar de Oculus Quest is gelanceerd, werd ook de nieuwe 3D 360°camera Manifold getoond. De beelden die de camera levert, zijn zelfs met 6DoF te zien. Voorwerpen in de diepte bewegen als je iets opzij stapt. Dit is wat we in het echt ook ervaren. De intensiteit van de beleving is zo vele malen groter. Zeker geen consumenten camera.

    

Consumenten camera zou de Sonicam kunnen zijn. 3D 360° en met spatial audio. ($3999,-)

bronnen: @Road2VR, @UPloadVR, VoodoDE VR en MRTV on YouTube, Azerty, product sites en VRDays2018.

Kickstarter ervaringen. Twee uit drie. Waak voor complexiteit.

Voorjaar 2016

Soms zoek je een product wat nog niet bestaat en kom je het tegen via een Kickstarter project. Alleen is het dan nog niet te koop maar bestaat alleen het prototype. Zo kwam ik twee jaar geleden een koptelefoon tegen die mijn interesse trok. Een koptelefoon die een 3D audio biedt zoals we in het dagelijks leven ook horen. Geen stereo maar echte 3D ambisonic geluid. De geluidsbron is precies aan te wijzen, ook als je met je hoofd draait. Met een headtracking draait het geluid mee. Dus waarbij bij een gewone hoofdtelefoon het geluid niet wisselt van oor, draait bij de OSSIC X de bron wel mee.

Dolby Atmos in je koptelefoon! En een geluid wat een VR beleving zou aanvullen. Twee jaar geleden meegedaan, gebacked zoals dat heet. Levering december 2016. Dat werd maart 2017, daar kan ik wel op wachten. Netjes wekelijks een mail met de vorderingen. Leuk om je droom te volgen.

Mei 2017

Ondertussen was ik ook op zoek naar een nieuwe TV afstandsbediening, die zowel IR als radio (RF) aan kon. Mijn oude programmeerbare Philips kon alleen IR aan en met de komst van een nieuwe TV en de Ziggo Horizon werkte dat niet meer. Beide gebruiken een radio signaal. Ik vond de NEEO. Een voormalig ontwerper van B&O had deze ontwikkeld. Een Brain met App te bedienen en een Remote die er super strak uitzag, compleet met touchscreen. Vorig jaar mei ingestapt voor € 268 met levering in september 2017. Een dag later de bestelling direct weer geannuleerd! Ik had een reactie gelezen op hun blog waar de eerste backers hun gal spuugden, dat ze al twee jaar wachten en dat het maar niet opschoot. Uiteraard wel de site gevolgd, want een beter alternatief heb ik niet gevonden.

OSSIC X ging goed en had veel lovende reacties op beurzen en engineers van de Abby Road studio’s onder de indruk van de kwaliteit. De eerste serie wordt getest. NEEO had de eerste productie lopen. Dat zag er goed uit. In juni toch weer de stap gewaagd en een Brain met Remote besteld. Levering in oktober 2017. Dat was redelijk te overzien. Ossic had problemen met een mal die compleet vernieuwd moest worden i.v.m. andere hardware. De koptelefoon moest ook op een smartphone kunnen werken. Hier had bij mij een lampje moeten gaan branden!

Ondertussen was ik met VR en AR bezig en zag een Nederlands Kickstarter project van Aryzon langs komen. Een kartonnen AR bril (zoals de Cardbox voor VR) waar je smartphone in past en je op een goedkope manier een augmented reality beeld kunt projecteren. Een ontwerp van afstudeerders van de Universiteit Twente. Voor € 27 kon je daar geen buil aan vallen. Binnen vier maanden geleverd! Binnen een dag de goal gehaald en daarna laten produceren. Een laser gesneden pakket met een speciale fresnel lens.

De NEEO Remote werd uiteindelijk met nog wat financiële strubbelingen (invoerrechten kwamen er nog bij en werden niet bij de deur maar toch bij het totaal van de creditcard geïnd). Net na de Kerst 2017 geleverd in een Apple achtige doos. Strak en alles van mooi materiaal. Ik ben nog steeds super tevreden over dit product: het doet alles wat ik had verwacht. Kan alle techniek in een recept aansturen. Zelfs Sonos, Philips HUE en de Ikea TRÅDFRI. En de eerste feilloze firmware updates zijn geweest. Een aanrader!

De OSSIC X zou dit voorjaar komen (levering uitstel 1 jaar!) De eerste 220 stuks werden ingepakt en aan de testers (eerste backers) uitgeleverd. Kleine App aanpassingen zouden dan de levering aan de rest meegenomen kunnen worden. Ik las in januari een recensie van een backer die bij OSSIC was geweest een demo had gekregen. Hij beschreef waarom het mis ging met de ontwikkeling. Ze waren ingegaan op de vraag van backers of de koptelefoon ook zou kunnen werken op een smartphone. Daar was de ellende begonnen, alle techniek moet nu in de koptelefoon komen, waar die eerst op de computer werd afgehandeld. Grotere processor (32 cores!) en dus ook grotere batterij moesten in de behuizing. Dat koste een nieuwe mal. De complexiteit knalde omhoog. De backer was overigens wel enthousiast. Ik was overigens niet van plan een film met Dolby Atmos op een iPhone te kijken. Ik wilde vooral een aansluiting op de AV Receiver, maar dat kon dan alleen via een laptop vanwege de audio processing.

2018

Na de laatste mail van OSSIC  in januari over de verzending van de 220 stuks prachtige koptelefoons werd het stil. Op de blogs zag je al heftige commentaren verschijnen waarom er geen info meer kwam, met als resultaat een laatste update 59, afgelopen zaterdag 19 mei. A Very Sad Goodbye. Het was een verklaring dat er een mooi product was, maar het geld op en de rest werd niet meer geleverd. Er was geen funding meer voor massa productie. M.a.w. hartelijk dank voor het vertrouwen, maar we stoppen ermee.

Drie Kickstarter projecten, de Nederlandse Aryzon snel en geslaagd, de Zwitserse NEEO toch nog perfect geleverd en de Amerikaanse OSSIC X 3D sublieme headphone met het eind in het zicht gesneuveld. $ 329 armer maar twee jaar een ontwikkeling gevolgd. Stap je in een Kickstarter project, dan moet je een lange adem hebben. Hardware kost minstens twee jaar ontwikkeling en een massa productie kost enorm veel kapitaal. OSSIC zegt nog 2 miljoen nodig te hebben en had al 6 miljoen verstookt.

“Complexity is the most expensive component in your project”. Een quote van Nutanix, die ik inlijf.

https://www.aryzon.com/

https://www.ossic.com/

https://neeo.com/