I piani di realtà mista di Microsoft vanno ben oltre hololens

Quando Microsoft ha fatto l'annuncio a sorpresa di un nuovo prodotto di realtà aumentata (AR) in un evento di Windows 10 all'inizio del 2015, le cuffie Microsoft HoloLens non sono state la prima cosa che il pubblico ha visto. Quando ha svelato la nuova tecnologia al mondo, Alex Kipman di Microsoft, creatore sia del motion controller Microsoft Kinect che di HoloLens, ha invece mostrato un logo per Windows Holographic, la piattaforma software allineata a Windows 10 su cui si basano le ambizioni di AR di Microsoft.

Più di due anni dopo, il software che alimenta il crescente ecosistema di dispositivi AR di Microsoft è ancora il miglior indicatore di dove l'azienda intende prendere il suo futuro di "realtà mista" (MR). Ora ha un nome diverso; Microsoft ha rinominato Windows Holographic in Windows Mixed Reality, ma l'obiettivo non è cambiato. Microsoft vuole costruire una rete interoperabile di cuffie AR, VR e realtà miste di diversi produttori, parlando tra loro e eseguendo Windows 10 Universal Apps.

Esistono tre punte di questo approccio: l'hardware di prima parte di Microsoft (HoloLens), lo stack software in evoluzione ospitato all'interno della piattaforma Windows Mixed Reality e le partnership hardware di terze parti di Microsoft con Acer, Asus, Dell, HP e Lenovo per costruire $ 299 Cuffie per realtà mista con Windows 10. La prima di queste, la cuffia Acer Windows Mixed Reality Development Edition, è già disponibile per gli sviluppatori.

Cos'è la realtà mista?

Microsoft non è l'unica società AR che ha iniziato a utilizzare il termine realtà mista per distinguere tra diversi punti dello spettro AR / VR. Da un lato, hai gli occhiali monoculari che vedi da aziende come Vuzix e AR basata su smartphone resi popolari da app come Pokemon Go.

Dall'altro, ci sono le esperienze binoculari montate sulla testa più coinvolgenti (visualizzate in entrambi gli occhi con un campo visivo a 360 gradi) di dispositivi come HoloLens, gli occhiali ODG R-9 o il magico balzo ancora invisibile. In termini troppo semplificati, puoi pensare all'AR come ad aggiungere informazioni sovrapposte o oggetti virtuali in un modo più bidimensionale su ciò che ti sta di fronte.

Ma il continuum in cui esistono questi tipi di tecnologie va più in profondità. Se immagini uno spettro con il mondo fisico da una parte e la vera realtà virtuale dall'altra, sembrerebbe così:

Mondo fisico -> Realtà aumentata -> Realtà mista <- Virtualità aumentata <- Realtà virtuale

(Non preoccuparti troppo della virtualità aumentata in questo momento. Non siamo ancora del tutto lì).

L'industria è impantanata nella terminologia confusa al momento, ma separare tutto il gergo è importante non solo per comprendere l'ecosistema, ma identificare tutti i punti in cui Microsoft intende collegarlo. Se la visione del gigante tecnologico si concretizzerà, il software di realtà mista di Microsoft potrebbe essere in esecuzione in cuffie che vanno da $ 299 a $ 3.000, integrate in esperienze di consumo e aziendali attraverso giochi, e-commerce, design industriale e produzione, visualizzazioni interattive dei dati aziendali, medicina e al di là.

Come si crea un sistema operativo in realtà mista

Durante un recente briefing con Microsoft, PCMag ha avuto la possibilità di controllare brevemente il nuovo auricolare del partner Acer. Abbiamo anche analizzato lo stack del software Windows Mixed Reality, includendo alcuni spunti su come Microsoft sta lavorando con gli OEM per costruire gli auricolari da $ 299 e su ciò che il recente Windows 10 Creators Update per app Windows in realtà mista su una gamma di dispositivi di elaborazione diversi.

La piattaforma Windows Mixed Reality si suddivide in diversi livelli. Nella parte superiore dello stack, hai il display montato sulla testa (HMD) con sei gradi di libertà (6DoF), che rappresenta il livello di movimento tridimensionale e tracciamento della posizione supportato. HoloLens utilizza ciò che Microsoft chiama 6DoF al rovescio, ovvero il rilevamento della posizione che combina i dati provenienti da più sensori di ingresso e telecamere con algoritmi per rendere l'esperienza fluida.

Per il contesto, le cuffie VR non collegate che utilizzano un display per smartphone tra cui Samsung Gear VR e Google Daydream View attualmente supportano 3DoF, a volte noto come pitch-yaw-roll. Le cuffie VR legate come Oculus Rift e HTC Vive hanno il rilevamento della posizione 6DoF.

L'aggiornamento per i creatori di Windows 10 include il supporto per il motion control 6DoF in Acer e in altre cuffie OEM in arrivo. Acer Windows Mixed Reality Development Edition include due telecamere di rilevamento della posizione frontali e due display, rispetto alle quattro telecamere che troverai sulle HoloLens più costose (le due telecamere HoloLens aggiunte vengono utilizzate per la mappatura spaziale), ma tutti e cinque i partner le cuffie supporteranno 6DoF. Un aggiornamento in arrivo quest'anno aggiungerà il supporto per i chip grafici integrati nelle cuffie con realtà mista, sebbene l'hardware necessiti di un chip Intel di ^settima generazione relativamente recente per ottenere l'aggiornamento.

I livelli successivi nello stack di Windows Mixed Reality gestiscono input, middleware e le interfacce di programmazione dell'applicazione (API) per realtà mista e percezione spaziale. Il livello di input elabora tutti i dati di input visivi, giroscopici, vocali e spaziali raccolti da un dispositivo AR / VR in qualsiasi momento. Ciò potrebbe comprendere dati provenienti da fonti tra cui sistemi di coordinamento, sguardo e direzionalità, gesti, input vocale, suono spaziale e mappatura spaziale.

I livelli di middleware e API sono fondamentali per comprendere in che modo la piattaforma sta iniziando a connettersi al resto dell'ecosistema software AR / VR. La documentazione per sviluppatori di Windows Mixed Reality include già le istruzioni per la creazione di app olografiche utilizzando piattaforme popolari tra cui Unity (motore di sviluppo multipiattaforma), Vuforia (piattaforma di sviluppo AR) e un protocollo middleware per la creazione di app MR mediante il runtime Microsoft DirectX.

La piattaforma non è di per sé aperta - devi giocare secondo le regole dell'App di Windows universale di Microsoft - ma Microsoft sta fornendo una serie di opzioni per collegarti al suo stack di software MR. Un esempio di ciò sono gli auricolari Intel Project Alloy VR, previsti entro la fine dell'anno, che eseguono una versione del software Windows Mixed Reality.

Gli strati finali dello stack aggiungono un'interfaccia utente personalizzata (UI) che Microsoft chiama "shell", insieme a servizi cloud come l'autenticazione e la sincronizzazione di Xbox Live e la messaggistica collaborativa attraverso servizi come Skype. Nell'Acer Windows Mixed Reality Development Edition abbiamo dato una breve occhiata, la "shell" era essenzialmente un sistema operativo strutturato come stanze in una casa.

L'utente può quindi teletrasportarsi in stanze diverse e lanciare varie app visualizzate come icone mobili o che occupano una piastrella su un muro. Queste possono essere app semplici come Foto, Film e TV, un Microsoft Edge o persino un menu Start di Windows 10 completo che puoi navigare all'interno dell'esperienza, che ha funzionato con un controller Xbox. Naturalmente ci sono anche alcune divertenti funzionalità di modellazione interattiva 3D come con HoloLens. Gli esempi dimostrativi vanno da elefanti e tigri che vagano in giro per un astronauta che puoi posizionare nella stanza e un'app che ti lancia in un sistema solare 3D. Questi sono solo alcuni esempi, considerando che le cuffie OEM possono eseguire qualsiasi app di Windows universale. Dal punto di vista del software, Microsoft vede tutti questi dispositivi come computer Windows 10 per la tua testa.

La società potrebbe rilasciare una specifica hardware standard in realtà mista ad un certo punto lungo la strada, ma al momento Microsoft si sta concentrando sullo stack di software e co-ingegnerizzando la prossima ondata di cuffie partner. Se dai un'occhiata più da vicino alla versione per l'anniversario di Windows 10 (e la HoloLens Commercial Suite al suo interno), puoi anche vedere le caratteristiche del software che Microsoft ha aggiunto sotto il cofano per rendere la sua HoloLens rivolta all'azienda più attraente per l'implementazione di business mainstream.

HoloLens Commercial Suite rafforza il set di funzionalità di base di HoloLens Development Edition, consentendo alle aziende di trattare le cuffie con realtà mista come solo un altro dispositivo nella propria rete IT aziendale. Microsoft ha rilasciato la HoloLens Commercial Suite lo scorso agosto per un prezzo di $ 5.000 e per quei $ 2K in più ottieni funzionalità tra cui una più profonda gestione dei dispositivi mobili (MDM) con Microsoft Intune insieme a Kiosk Mode, che avvierà HoloLens direttamente in un'app specifica esperienza ai fini di una dimostrazione in negozio in un ambiente di vendita al dettaglio.

La suite commerciale include anche Microsoft BitLocker Drive Encryption e l'accesso alla protezione della rete privata virtuale (VPN), che ora è più importante che mai. L'hardware lucido riceverà sempre più attenzione, in particolare quando Asus, Dell, HP e Lenovo lanceranno le proprie cuffie partner nei prossimi mesi. Ma per il quadro più chiaro di dove sia diretta la strategia di realtà mista di Microsoft, tieni d'occhio il software.