Come l'unità sta costruendo il suo futuro su ar, vr e ai

Unity è la piattaforma di sviluppo 3D più utilizzata al mondo. Alimenta il 40 percento dei primi 1.000 giochi mobili e oltre la metà di tutti i nuovi giochi mobili, secondo la società di analisi delle app Apptopia. Insieme a Unreal Engine, i due motori di gioco popolari sono alla base della maggior parte delle esperienze di gioco sul web.

Tuttavia, lo spazio di sviluppo 3D è molto più affollato di una volta, in particolare quando si tratta di sviluppo della realtà virtuale aumentata.

Unity funge da blocco o si integra con la maggior parte delle piattaforme AR / VR più recenti, tra cui l'ARKit di Apple e l'ARCore di Google, ma ora sta anche affrontando la concorrenza di Amazon Sumerian e altre interfacce drag-and-drop che cercano di semplificare l'esperienza per creatori meno tecnici.

Per stare al passo con la concorrenza ed evolvere la sua piattaforma per un ecosistema in crescita di nuovi dispositivi ed esperienze 3D, Unity sta spingendo una strategia su due fronti guidata dalle sue divisioni AR / VR e AI. PCMag ha parlato con Tony Parisi, Responsabile globale Unity di VR / AR Brand Solutions, e Danny Lange, Vicepresidente Unity di AI e Machine Learning, per uno sguardo al futuro di Unity e come la piattaforma - e i giochi che crea - stanno diventando più intelligenti senza lo stai persino realizzando.

Unity's View of the AR / VR Landscape

IDC prevede che la spesa per prodotti e servizi AR / VR raggiungerà quest'anno $ 27 miliardi e che il mercato sta crescendo solo da lì. Parisi ha dichiarato che Unity mira a supportare ogni piattaforma nello spazio.

"Tre o quattro anni fa, prima di unirmi, Unity ha iniziato a fare investimenti significativi nel mercato emergente della realtà virtuale - Oculus Rift, HTC Vive, Samsung Gear VR, ecc. - con l'obiettivo di creare una sorta di sistema completo per gli sviluppatori quindi non devono preoccuparsi dei dettagli di basso livello su come supportare queste piattaforme ", ha detto Parisi. "Siamo arrivati ​​al punto in cui scrivi la maggior parte delle tue applicazioni una volta e puoi portarlo su questi dispositivi."

Questo non è universalmente vero, ha detto, perché un'app che crei per un visore per dispositivi mobili sarà progettata in modo leggermente diverso da un'app ottimizzata per un'esperienza basata su PC. Ma secondo le metriche interne di Unity, la piattaforma attualmente alimenta il 69 percento delle esperienze di Oculus Rift, il 74 percento su HTC Vive, l'87 percento su Gear VR e il 91 percento di esperienze di realtà mista (MR) su Microsoft HoloLens.

• Lavorare con un ecosistema in crescita

  Parisi lavora in AR / VR dalla metà degli anni '90 facendo lavori sulla visualizzazione 3D. Ha co-creato il formato di file VRML e altre specifiche alla base di WebGL e ha fondato e lavorato per diverse altre società di realtà virtuale. È entrato a far parte di Unity alla fine del 2016 per dirigere la pubblicità, il marketing e la strategia in AR, VR, MR e il più ampio ombrello di realtà estesa (XR).

  "subito dopo il boom di Pokemon Go, che era una specie di AR semplicistica per quanto riguarda la posizione, andare da qualche parte e trovare un Pokemon, oltre a un po 'di videocamera. Questo è un fattore che continuiamo ad aumentare. Si tratta della posizione tanto quanto riguarda l'immersione ", ha detto Parisi.

  Sul fronte AR, Parisi ha parlato di come Facebook e Snap stanno usando le loro piattaforme di sviluppo Effetti fotocamera e Lens Studio per evolvere ciò che puoi fare con le fotocamere per smartphone per mappare l'ambiente intorno a te. Il ponte tra smartphone e AR basato su cuffie è un'esperienza come il gioco Star Wars: Jedi Challenges, anch'esso creato con Unity e che funziona con uno smartphone combinato con le cuffie Mirage AR di Lenovo.

  La prossima ondata sono i telefoni con supporto del sistema operativo AR tramite ARKit di Apple e ARCore di Google, ha affermato Parisi. Come con Amazon Sumerian, Unity collabora con Apple e Google per la creazione di contenuti AR tramite strumenti 3D. Unity funge anche da base per strumenti Google open source come Tilt Brush e Blocks. Parisi immagina un mondo aumentato condiviso che abbraccia i sistemi operativi mobili.

  "Apple e Google sono entrambi ottimi partner. Abbiamo profonde relazioni con loro per sviluppare e supportare queste esperienze e contenuti XR attraverso gli strumenti 3D di Unity", ha affermato Parisi. "Molti degli strumenti di creazione democratizzata che non sono per programmatori o sviluppatori o designer professionisti sono integrati nel nostro motore. La cosa ancora migliore è che puoi prendere modelli Blocks o Tilt Brush e portarli in altre app Unity come qualsiasi altro software che entra in Unity ".

  Sul lato MR e VR, i grandi lettori di dispositivi e software sono Oculus, HTC e, naturalmente, Microsoft e il suo ecosistema Windows Mixed Reality. Unity crea app 3D per tutti loro, ma Microsoft sta sfocando un po 'le linee tra realtà mista e realtà virtuale, ha detto Parisi. HoloLens è un dispositivo di realtà mista, ma le cuffie Windows Mixed Reality sono VR.

  "L'industria sta ancora affrontando ciò che dovremmo chiamare tutto questo", ha affermato Parisi. "A seconda che tu stia progettando contenuti che mescolano il digitale con il mondo reale anziché entrare in un mondo completamente coinvolgente, hai diverse sfide. In VR, le sfide delle prestazioni sono più elevate. Devi creare un mondo completamente sintetico. Ciò significa che il PC cuffie VR basate su 90 rendering a 90 fotogrammi al secondo, a tutto vantaggio delle prestazioni. La realtà mista è meno intensiva, ma deve anche adattarsi in tempo reale all'intero ambiente che sta elaborando ".

• L'evoluzione della creazione di contenuti 3D

  Unity è uno strumento di creazione 3D democratizzato per lo sviluppo di contenuti immersivi. Esistono versioni gratuite, Plus e Pro che puoi acquistare per canoni mensili ed è esente da royalty. Quindi quello che costruisci con Unity è tuo. Unity attualmente supporta la creazione di circa 30 piattaforme diverse, da smartphone e sistemi operativi per PC a una serie di sistemi di gioco, smart TV e cuffie VR.

  Recentemente, Unity è stato utilizzato per creare una vasta gamma di contenuti ed esperienze coinvolgenti. Questi vanno da una serie del Sundance Film Festival chiamata Spheres, che consente agli spettatori di esplorare una collisione cosmica di due buchi neri in VR, al gioco Disney CocoVR, che utilizza proiezioni a 360 gradi che trasportano i giocatori nella terra dei morti del film Pixar.

  Parisi ha anche parlato dell'utilizzo di Unity per costruire divertenti giochi VR come Beat Sabre ed esperienze aumentate tra cui l'app MLB At Bat AR, che consente agli spettatori di baseball di puntare i loro smartphone sul gioco e di vedere le statistiche sullo schermo sopra i giocatori.

  Unity può creare tutti questi tipi di app, ma ci sono molte sfumature da considerare nella progettazione. Le esperienze basate su PC sono più potenti, consentendo modelli 3D più grandi in ambienti più ricchi, e cuffie come Oculus Rift e HTC Vive offrono anche controller di input insieme al tracciamento della posizione e della scala della stanza da considerare. Parisi ha detto che devi progettare per quel tipo di app in modo diverso da come faresti per un'esperienza di visione a 3 gradi di libertà su un auricolare come Google Daydream View. Non è facile come premere un pulsante, ma Unity ha lavorato per garantire che il contenuto 3D creato potesse spostarsi da un dispositivo all'altro senza ricodificare troppo.

  Oltre alle applicazioni di gioco e intrattenimento per esperienze AR / VR, una delle domande che Unity ha affrontato di recente è come migliorare il suo ambiente di creazione 3D per soddisfare diversi settori, livelli di abilità e casi d'uso. Come per gli strumenti di sviluppo a basso codice che mirano a soddisfare sia i programmatori seri sia gli utenti non tecnici, Unity sta cercando modi per far funzionare la sua interfaccia, il negozio di risorse e il resto della sua piattaforma per diversi tipi di aziende e utenti per espandere i propri clienti base.

  "Abbiamo esaminato questi diversi settori in cui nascono AR e VR. Potrebbero essere le organizzazioni automobilistiche, cinematografiche, di architettura, mediche o di altro tipo in cui stai distribuendo software a centinaia di migliaia di posti", ha affermato Parisi. "Sono mondi completamente diversi, imprese diverse, background e strumenti di produzione diversi. Inizialmente ci siamo concentrati sulle industrie mobili e dei giochi perché è lì che è cresciuta la crescita, ma ora la ruota ha girato e il tempismo è giusto per prendere quel playbook e portarlo ad alcuni di questi altri settori ora perché il mondo sta diventando B2B."



Limitazioni attuali di AR / VR

Al momento, il più grande ostacolo all'adozione più diffusa di MR e VR non è la mancanza di contenuti, ma le limitazioni hardware quando si tratta di comfort e portabilità rispetto alla potenza di elaborazione, ha detto Parisi. Il viaggio faticoso delle prossime cuffie Magic Leap funge da caso di studio da manuale nel tentativo di ridurre un processore abbastanza potente in un fattore di forma abbastanza piccolo per il consumo di massa.

"È difficile creare un'esperienza di realtà mista che funzioni camminando per il tuo salotto e non navigando per strade aperte", ha detto Parisi. "Siamo in un luogo in cui stiamo ancora attraversando iterazioni sull'hardware per trovare il punto debole tra potenza di elaborazione e portabilità. Con un auricolare VR, puoi spostarti finché non senti quel pizzico di filo. Ne abbiamo bisogno di un altro modo di trasmettere quei dati. Quel filo è una seccatura; si rompe l'immersione. Sono stato da qualche altra parte per un minuto, ma poi mi sono impigliato qualcosa attorno al piede.

Sul lato AR, i limiti sono diversi; si tratta molto di più di visione artificiale e potenza di elaborazione per la grafica 3D in tempo reale. Quando si tratta di visione artificiale e utilizzo di diversi tipi di machine learning (ML) per colmare le lacune e rendere le esperienze AR / VR più intelligenti e più fluide, è qui che entra in gioco il crescente reparto di intelligenza artificiale di Unity.

• Strategia AI di Unity

  Unity utilizza l'intelligenza artificiale in molti modi diversi, dal miglioramento del gameplay e della progettazione del motore al monitoraggio del comportamento degli utenti e alla modifica del modo in cui gli sviluppatori di giochi possono monetizzare le loro app. Il team AI, che conta oltre 100 dipendenti in tutto il mondo, è gestito da Danny Lange, vicepresidente Unity di AI e Machine Learning.

  Lange è entrato in Unity circa 18 mesi fa dopo aver ricoperto la carica di Head of Machine Learning presso Uber e General Manager di Amazon Machine Learning. Ha anche lavorato presso IBM e Microsoft. È venuto nel mondo dei giochi con una prospettiva diversa su ML, e ha contribuito a trasformare i tradizionali sforzi ML di Unity in progetti più ambiziosi.

  "Aziende come Amazon e Uber sono così fortemente guidate dall'apprendimento automatico. Provenienti da un mondo di auto a guida autonoma in questo ambiente di gioco 3D, vuoi cercare il posto perfetto per spingere il limite dell'intelligenza artificiale", ha affermato Lange.

  "Quando sono arrivato, ci sono stati un certo numero di sforzi per l'apprendimento automatico in corso in cui ho fatto esperienza con l'apprendimento di rinforzo e sistemi dinamici in cui sostanzialmente si migliora il comportamento", ha continuato Lange. "Questo è qualcosa che abbiamo fatto molto sia su Amazon che su Uber. Sia che tu stia inviando libri o che tu stia ottimizzando per un pickup senza attriti per Uber, tutta quella roba non è in realtà la gente seduta e la progetta, è i sistemi informatici che imparano dove dire dove incontrare il tuo pilota Uber. E quando sono arrivato in Unity ho visto un'enorme opportunità nel portare quelle idee nel mondo dei giochi."

  Come ha spiegato Lange, i progetti ML di Unity coprono tutto, dal gameplay alla monetizzazione. In un caso, il team cerca gruppi di utenti che hanno determinati schemi di spesa che gli sviluppatori Unity vogliono monetizzare attraverso la pubblicità o gli acquisti in-app. Unity quindi presenta questi risultati agli sviluppatori per un impegno più efficace a lungo termine.

  L'azienda applica anche ML per migliorare il gameplay, la progettazione del motore e aiutare con il processo di creazione dei contenuti. La strategia generale di Unity è essenzialmente suddivisa tra il lato dello sviluppo in ML a più livello di servizio e la ricerca di apprendimento profondo più avanzata dal lato accademico. Lange ha affermato che ciò si traduce anche in ciò che il dipartimento di Parisi sta facendo con lo sviluppo di XR, in cui Unity offre ai ricercatori un ambiente grafico 3D per testare nuovi algoritmi ML.

  "AR e VR sono in realtà domini fantastici per l'apprendimento automatico e l'intelligenza artificiale. Penso spesso all'intelligenza artificiale come a una realtà migliorata e la realtà è difficile da gestire", ha affermato Lange. "È difficile trovare algoritmi fissi che comprendano tutto in una stanza e possano sovrapporsi a quella stanza. Non puoi davvero codificarlo. Devi usare l'apprendimento automatico e l'intelligenza artificiale per mettere oggetti virtuali in una stanza che riconosca che un tavolo è una superficie, e se la metti sul bordo di un tavolo cadrà. Quelle sono aree in cui l'apprendimento automatico gioca un ruolo molto importante a causa di questo comportamento dinamico del mondo reale; capire la profondità e le dimensioni negli spazi virtuali. con l'obiettivo di far emergere il vantaggio del deep learning per rivoluzionare il modo in cui questi giochi sono creati e si comportano ".



Apprendimento automatico dietro le quinte

Per quanto riguarda lo sviluppo del gioco e il gameplay, Lange ha tirato indietro il sipario su come Unity stia tessendo algoritmi ML nell'esperienza per automatizzare il processo di creazione e iterazione.

"Acquisiamo molti dati comportamentali: quando inizia una partita, per quanto tempo hai giocato e quali scene attraversi quella partita", ha detto Lange. "In questo senso, stiamo usando l'apprendimento automatico e l'analisi dei dati in un contesto simile a quello che fanno Amazon o Google: raccogliere dati comportamentali e restituirli allo sviluppatore del gioco. È una specie di equivalente di analisi web, che fornisce dati fruibili da usare subito per vedere su quali livelli i giocatori si bloccano, quali scene non funzionano, ecc."

Questi dati possono essere utilizzati per ottimizzare fattori come gli acquisti in-app e la pubblicità, ma Lange ha affermato che gli algoritmi aiutano a trovare un equilibrio tra la visualizzazione dei contenuti degli utenti a cui sono interessati e la monetizzazione dei giochi all'estremo. A livello macro, ha spiegato che si tratta più di creare un ciclo auto-perpetuante di dati comportamentali per aiutare i giochi a evolversi organicamente, portando il lavoro degli sviluppatori manuali fuori dall'equazione.

"L'apprendimento automatico è dove sei in grado di acquisire dati e iniziare a stabilire connessioni", ha affermato Lange. "Quando lo metti in un ciclo, come quello che vedrai spesso in un gioco, i dati portano a previsioni da parte del gioco e dei giocatori. Ciò crea più dati comportamentali e ora hai effettivamente un sistema in grado di interagire e imparare dagli utenti e il modo in cui interagiscono tra loro. Uno dei nostri grandi sforzi è quello di utilizzare la tecnologia AI per creare giochi più organici che si evolvono con l'uso ".

• Agenti di machine learning

  Il modo più importante che Unity sta facendo è attraverso ML Agents, un'iniziativa beta open source che trasforma i giochi e le simulazioni 3D in campi di addestramento per agenti intelligenti autonomi. In sostanza, Unity consente agli sviluppatori di distribuire questi agenti ML flessibili in qualsiasi scenario e si comporteranno come una spugna: apprendere ed evolversi in modo personalizzato in base all'ambiente virtuale in cui vengono inseriti.

  "La mia definizione di apprendimento automatico rispetto all'intelligenza artificiale è che con l'apprendimento automatico si raccolgono dati, si allena il sistema e basta", ha spiegato Lange. "L'intelligenza artificiale è il momento in cui il sistema si riqualifica costantemente e diventa sempre meglio. Vogliamo che i giochi siano in grado di evolversi e una delle nostre iniziative pubbliche per promuovere che sia gli agenti di Machine Learning."

  Unity ha diversi destinatari per i suoi agenti ML. Uno scenario è per gli sviluppatori, consentendo a questi personaggi automatizzati di muoversi e interagire con i giocatori. Invece di codificare le loro azioni, gli agenti ML imparano attraverso il rinforzo mentre simulano diversi livelli e aiutano gli sviluppatori a testare rapidamente giochi che agiscono come giocatori virtuali testando in parallelo migliaia di livelli di gioco.

  Un altro caso d'uso per gli agenti ML è incentrato sulla narrativa. Lange ha detto che Unity sta testando gli agenti cercando di capire cosa farà un giocatore e quindi seguirli passo dopo passo. L'idea è di capire cosa stanno facendo i giocatori umani e in che modo il gioco compenserà quelle decisioni nel più ampio schema della narrazione. Nei giochi in cui milioni di giocatori sono attivi, gli agenti ML possono imparare e modificare i livelli o le trame di un gioco su vasta scala.

  Nella simulazione "Goodboy" di cui sopra, il team di Lange ha creato un semplice gioco mobile utilizzando un modello di apprendimento automatico dal toolkit ML-Agents di Unity. Nel gioco, il piccolo corgi prende un bastone con movimenti carini, il tutto senza essere codificato. Invece, le sue azioni e comportamenti sono controllati dagli agenti ML. Unity prevede di collaborare con i partner della piattaforma per espandere gli agenti ML su tutte le piattaforme supportate di Unity.

  "Se pensi a quel tipo di capacità all'interno di un gioco a quello che chiamiamo livello narrativo, non sono necessariamente i personaggi che si muovono nel gioco che sono necessariamente controllati, ma la narrazione del gioco stesso. Quindi, fondamentalmente, hai il gioco che cerca di farti entrare in qualche strade molto eccitanti. Quindi puoi scegliere di andare a sinistra oa destra in un percorso e il gioco fondamentalmente orchestrerà una serie di eventi in base a ciò che prevede che farai, tra cinque, 10, 15 mosse da ora " disse Lange.

  "Puoi immaginare come potrebbe funzionare in una partita multiplayer", ha continuato. "Uno degli esempi classici: all'inizio di una partita, due individui si incontrano. Uno ruba tutto l'oro da un altro giocatore, e poi si separano con un cattivo sangue tra loro. Quindi il gioco assicurerebbe quindi una narrazione in cui ogni giocatore finisce insieme in un posto dove sopravvivere dovranno lavorare insieme. Devono attraversare un ponte e possono farlo solo insieme altrimenti sono fuori dal gioco. Sarebbe molto difficile codificarti attraverso simulazioni, ma con gli agenti ML il gioco può creare dinamicamente questo tipo di simulazioni ".

• Costruire mondi virtuali assistiti dall'IA

  La demo "Pyramids" sopra è un ambiente che mostra i risultati di un progetto di apprendimento di rinforzo chiamato Curiosity, in cui gli agenti ML esplorano rapidamente un mondo per scoprire le ricompense nascoste sulla mappa.

  Un altro aspetto delle operazioni AI di Unity consiste nell'utilizzare ML per creare scene e trame più coinvolgenti durante la generazione di contenuti 3D. Lange ha affermato che si tratta di un campo nuovo ma molto promettente in cui i sistemi autonomi all'interno di un gioco possono generare contenuti controllati dal movimento e riempire movimenti naturali, imparando come si muove un personaggio, umano o animale e quindi imitando quell'animazione in un gioco.

  "Abbiamo migliaia di sviluppatori che lo testano", ha detto Lange. "Dal punto di vista accademico, abbiamo iniziato a vedere molti studenti e dottorandi della NASA presso il MIT e il Paul Allen Institute di Seattle che rilasciavano contenuti su Unity. Ho appena incontrato degli sviluppatori a Londra che cercavano questo per lo sviluppo di NPC che stanno davvero spingendo limite delle prestazioni grafiche con iPhone e dispositivi Android."

  Unity ha anche un motore chiamato Extreme AI per mappare le personalità ai personaggi, in modo simile al modo in cui Amazon Sumerian costruisce "host" basati sull'intelligenza artificiale. Per i personaggi non giocabili in un gioco, Unity ha iniziato a sperimentare questo per una simulazione più naturale negli ultimi due anni, ha detto Lange.

  "Quindi, se vuoi costruire un robot o un'auto a guida autonoma o progettare una casa, puoi farlo in Unity e popolare quella casa con NPC", ha detto Lange. "Puoi simulare 1.000 famiglie che vivono in quella casa e raccogliere informazioni su come i personaggi si muovono. Le porte si aprono nel modo giusto? C'è abbastanza luce nelle stanze? Se lo fai nella nuvola, potresti avere 1.000 case diverse con 1.000 famiglie diverse. Questo potrebbe sembrare andare al di fuori del gioco stesso, ma alla base di tutto ciò c'è la tecnologia di gioco ".

• Il futuro delle app immersive

  Man mano che le ambizioni AR / VR e di intelligenza artificiale dell'azienda si espandono, Unity guarda oltre i giochi per una nuova generazione di app 3D. Un esempio è l'industria automobilistica, per la quale Unity ha recentemente costituito un team dedicato per aiutare a creare contenuti AR / VR per clienti come Audi, Toyota, Lexus e Volkswagen. Parisi ha dichiarato che Unity sta cercando di applicare la potenza del suo ecosistema di sviluppatori multipiattaforma per portare la creazione di app AR / VR in nuovi settori.

  "Stiamo cambiando il modo in cui progetti auto, realizzi film; come fai tutte queste cose come un'azienda che sa vendere agli sviluppatori di giochi", ha affermato Parisi. "Ad esempio, supponiamo che Ford voglia creare un'app nel loro laboratorio di innovazione. Hanno hardware e software di fascia alta, quindi esce Rift e decidono di farlo su un PC da gioco. Pubblicano un annuncio e le probabilità sono che qualcuno nella zona di Detroit sia un programmatore Unity. Quella persona inizia a prototipare, si trasforma in un team di innovazione a tre persone, e poi iniziano a sviluppare nuovi modi di progettare le auto per sostituire i prototipi fisici ".

  Parisi vede anche un sacco di potenziale per ridurre l'attrito quando si tratta di AR ed e-commerce. Il grande punto di svolta è la ratifica imminente di WebXR del World Wide Web Consortium (W3C), un nuovo standard che consentirà alle esperienze AR e VR di funzionare come app Web direttamente nei browser desktop e mobili.

  Immagina di vedere un annuncio per un nuovo elettrodomestico da cucina nel tuo feed social e di trascinare quel modello 3D in un ambiente di realtà mista collegato alla tua fotocamera per vedere come appare nella tua cucina. Affinché quel tipo di tecnologia pubblicitaria 3D funzioni su larga scala, Parisi ha affermato che l'esperienza sul web deve essere perfetta. Se devi installare un'app per visualizzare tutti gli oggetti 3D contrassegnati con informazioni virtuali solo per collegarli alla videocamera, il modello non funziona, ma Unity si considera uno strumento insieme a standard come WebXR che possono colmare tali lacune di compatibilità.

  Parisi immagina un futuro in cui il fattore di forma per le esperienze AR / VR è un dispositivo di intrattenimento autonomo, che si tratti di un'esperienza domestica, di un'app basata sulla posizione o di una simulazione aziendale per la formazione. Ha anche affermato che l'interfaccia utente deve diventare completamente immersiva. La tecnologia non è ancora lì, ma non crede che sia lontana come alcuni potrebbero pensare.

  "Alcune persone pensano che passeranno decenni prima che potremo arrivare a un paio di cuffie o occhiali davvero coinvolgenti con una potenza di calcolo sufficiente", ha affermato Parisi. "Se consideri tutte le scoperte miracolose nella miniaturizzazione di tutti questi aspetti di calcolo - CPU, GPU, rete 5G - in pochi anni potremmo essere in grado di spostare parte di tale elaborazione al limite o fino al cloud. Il fattore di forma potrebbe essere qualsiasi cosa, ma l'elemento comune è sicuramente un'interfaccia utente immersiva in cui è possibile premere un pulsante e sperimentare personaggi digitali completamente realizzati o ambienti stratificati che fondono il mondo digitale e quello reale."