Quando il cloud è inondato, è edge computing, ai in soccorso

Lungo la costa del New South Wales (NSW) australiano si trova una flotta di droni, che aiuta a proteggere le acque. All'inizio di quest'anno, i droni hanno aiutato i bagnini della costa settentrionale dello stato a salvare due adolescenti che stavano lottando in surf.

I droni sono alimentati da algoritmi di intelligenza artificiale (AI) e di visione artificiale che analizzano costantemente i loro feed video ed evidenziano gli elementi che richiedono attenzione: diciamo, squali o nuotatori vaganti. Questo è lo stesso tipo di tecnologia che consente a Google Foto di ordinare le foto, una videocamera di sicurezza domestica per rilevare estranei e un frigorifero intelligente per avvisarti quando i tuoi deperibili sono vicini alle loro date di scadenza.

Ma mentre quei servizi e dispositivi necessitano di una connessione costante al cloud per le loro funzioni di intelligenza artificiale, i droni del NSW possono svolgere le loro attività di rilevamento di immagini con o senza una solida connessione a Internet, grazie a chip di calcolo neurali che consentono loro di eseguire calcoli di deep learning a livello locale.

Questi chip fanno parte di una tendenza crescente delle innovazioni del edge computing che consentono ai nostri dispositivi basati su software di eseguire almeno alcune funzioni critiche senza un collegamento costante al cloud. L'ascesa del edge computing sta aiutando a risolvere i problemi vecchi e nuovi e sta spianando la strada alla prossima generazione di dispositivi intelligenti.

Liberare la nuvola

Negli ultimi due decenni, il cloud è diventato il modo defacto di ospitare applicazioni, con buone ragioni.

"La cosa che rende il cloud così attraente è che tende a scaricare i costi di avvio di qualsiasi attività che si desidera svolgere", afferma Rob High, CTO di IBM Watson. "Il cloud… consente alle persone di… risolvere problemi reali oggi senza dover sostenere i costi di creazione dell'infrastruttura".

Con l'onnipresente connettività Internet e quasi innumerevoli applicazioni cloud, servizi e piattaforme di sviluppo, le barriere alla creazione e alla distribuzione di applicazioni sono diminuite notevolmente. Le vaste risorse dei fornitori di cloud come IBM, Google e Amazon hanno potenziato lo sviluppo non solo di banali applicazioni aziendali ma anche di software complessi che richiedono enormi quantità di calcolo e archiviazione: algoritmi di intelligenza artificiale e machine learning, nonché streaming e AR (realtà aumentata) applicazioni.

Ma questi progressi hanno anche creato una sfida: la maggior parte delle applicazioni che utilizziamo non possono funzionare a meno che non siano connesse al cloud. Ciò include la maggior parte delle applicazioni eseguite su computer e telefoni, nonché il software in frigoriferi, termostati, serrature delle porte, videocamere di sorveglianza, automobili, droni, sensori meteorologici e così via.

Con l'avvento dell'Internet of Things (IoT), un numero crescente di dispositivi esegue software e genera dati e la maggior parte di essi richiederà un collegamento al cloud per archiviare ed elaborare tali dati. La quantità di energia e larghezza di banda richiesta per inviare tali dati al cloud è immensa e lo spazio necessario per archiviare i dati metterà alla prova le risorse anche dei più potenti colossi del cloud.

"Ci sono molti dati che stiamo raccogliendo in questi sistemi, che siano al limite o che si tratti di un dispositivo IoT o di qualsiasi altro luogo, a cui potresti quasi decidere di non preoccuparti", afferma High. Ma se ogni decisione deve essere presa nel cloud, tutti quei dati dovranno essere inviati attraverso la rete ai server cloud per essere cancellati e filtrati.

Ad esempio, i nomi più moderni di aeroplani, che contengono centinaia di sensori che monitorano i motori a reazione e raccolgono centinaia di gigabyte di dati sullo stato e sulle prestazioni durante ogni volo. "Quanti di questi dati contano davvero se si desidera analizzarli su un aggregato? Probabilmente solo una frazione di essi", afferma High. "Perché non sbarazzartene alla fonte quando non è necessario per qualcos'altro che stai facendo?"

Fare ciò che High suggerisce al di fuori del cloud era precedentemente quasi impossibile, ma i progressi nei processori System-on-Chip (SoC) a basso consumo e basso costo hanno dato ai dispositivi periferici una maggiore potenza di elaborazione e hanno permesso loro di sostenere parte del carico computazionale del loro ecosistemi, come l'esecuzione di analisi in tempo reale o il filtraggio dei dati.

"Ci sono così tanti dati nell'ambiente periferico, che ha senso portare alcune delle funzionalità di cloud computing nella capacità computazionale del dispositivo periferico", afferma High.

Preoccupazioni relative alla privacy

I vantaggi di Edge computing non si limitano a liberare risorse cloud.

Remi El-Ouazzane, New Technology Group e General Manager di Movidius (Intel), cita le telecamere di sicurezza commerciali come un altro esempio di quando il edge computing può fare una grande differenza. Vedi queste telecamere ai semafori, negli aeroporti e all'ingresso degli edifici, registrando e trasmettendo video di alta qualità attraverso la rete tutto il giorno.

"Meno dati è necessario ricondurre a un server o data center, più operazioni di scrubbing e perfezionamento si possono fare localmente, migliore sarà il costo totale di proprietà dal punto di vista dello stoccaggio e del trasferimento", afferma El-Ouazzane.

Ciò significa fornire alle telecamere il potere di analizzare i propri feed video, determinare quali fotogrammi o lunghezze del video richiedono attenzione e inviare solo quei dati al server.

Quando tali telecamere sono installate a casa, in ufficio o in qualsiasi luogo privato, anche la connessione al cloud diventa un potenziale problema di sicurezza. Gli hacker e i ricercatori della sicurezza sono stati in grado di compromettere la connessione tra elettrodomestici e i loro server cloud per intercettare feed video sensibili. L'analisi dei dati a livello locale ovvia alla necessità di disporre di un canale video tra casa, vita privata e un fornitore di servizi.

Movidius, che è stata acquisita da Intel nel 2016, è una delle numerose startup che rendono i chip per computer specializzati per attività di intelligenza artificiale come riconoscimento vocale e visione artificiale. L'azienda produce Vision Processing Unit (VPU): processori a bassa potenza che eseguono reti neurali che analizzano e "comprendono" il contesto delle immagini digitali senza la necessità di rispedirle nel cloud.

Movidius Myriad 2 è un processore di visione sempre attivo realizzato per ambienti con limitazioni di potenza.

"Quando la fotocamera capisce la semantica di ciò che sta guardando, allora la capacità di imporre regole su ciò che la fotocamera può fare o non può fare sta diventando un compito molto semplice", afferma El-Ouazzane. "Non è necessario catturare effettivamente il tuo soggiorno per le successive 12 ore solo per sapere che, in un determinato momento, il tuo cane ha attraversato il tappeto di fronte al divano."

Altre aziende stanno esplorando l'uso di edge computing basato sull'intelligenza artificiale per preservare la privacy degli utenti. L'Apple iPhone X, ad esempio, è alimentato dal chip A11 Bionic, che può eseguire attività di intelligenza artificiale localmente, consentendogli di eseguire un riconoscimento facciale complicato senza inviare il mugshot dell'utente sul cloud.

Una maggiore elaborazione AI ai margini può spianare la strada all'intelligenza artificiale decentralizzata, in cui gli utenti devono condividere meno dati con le grandi aziende per utilizzare le applicazioni AI.

Riduzione della latenza

Un altro problema con i grandi fornitori di cloud è che i loro data center si trovano fuori dalle grandi città, posizionandoli a centinaia e migliaia di miglia di distanza da persone e dispositivi che utilizzano le loro applicazioni.

In molti casi, la latenza causata dai dati che viaggiano da e verso il cloud può produrre scarse prestazioni o, peggio, risultati fatali. Questo può essere un drone che cerca di evitare collisioni o atterraggi su un terreno irregolare o un'auto a guida autonoma che cerca di decidere se si imbatte in un ostacolo o in un pedone.

L'implementazione leggera di Movidius di reti neurali profonde e visione artificiale rende i suoi chip adatti a dispositivi mobili come droni, per i quali non è possibile realizzare hardware che consuma energia come le GPU. I droni sono uno studio particolarmente interessante, perché hanno bisogno di un accesso a bassa latenza al calcolo dell'IA e devono continuare a funzionare in ambienti offline.

Il rilevamento dei gesti come un'altra area in cui il edge computing sta contribuendo a migliorare l'esperienza del drone. "L'obiettivo è rendere i droni accessibili a molte persone e il gesto sembra essere un buon modo per usarli. La latenza è importante quando gestisci il drone per eseguire un compito", afferma El-Ouazzane.

Per start-up come Skylift Global, che fornisce servizi di droni pesanti per soccorritori e soccorritori, l'accesso a bassa latenza all'IA e le risorse di calcolo possono risparmiare denaro e vite umane. "Ridurrà significativamente i costi di immissione dei dati, ridurrà la latenza della rete, aumenterà la sicurezza e contribuirà a trasformare i dati in streaming in decisioni in tempo reale", afferma Amir Emadi, CEO e fondatore di Skylift.

La consegna delle forniture ai primi soccorritori richiede decisioni in pochi secondi. "Più tempo passa, ad esempio nella lotta contro un incendio, più costoso diventa per porre rimedio alla situazione. Man mano che i nostri droni diventano in grado di prendere decisioni in tempo reale al limite anche quando perdono la connettività, saremo in grado di risparmiare di più vite, soldi e tempo ", dice Emadi.

Altri domini che necessitano di calcoli quasi in tempo reale sono le applicazioni di realtà aumentata e virtuale e i veicoli autonomi. "Questi sono tutti ambienti informatici basati sull'esperienza. Succederanno in giro per le persone", afferma Zachary Smith, CEO di Packet, una startup con sede a New York focalizzata sul consentire agli sviluppatori di accedere a hardware altamente distribuito.

Un'applicazione AR o VR che non riesce a tenere il passo con i movimenti dell'utente causerà vertigini o impedirà all'esperienza di diventare immersiva e reale. E la latenza sarà ancora più un problema quando le auto a guida autonoma, che dipendono fortemente dalla visione artificiale e dagli algoritmi di apprendimento automatico, diventano mainstream.

"Una latenza di 30 millisecondi non avrà importanza per il caricamento della tua pagina web, ma sarà davvero importante per un'auto determinare a 60 miglia all'ora se dovrebbe girare a sinistra oa destra per evitare di schiantarsi in una bambina", afferma Smith.

Soddisfare le sfide di Edge

Nonostante la necessità di avvicinare i computer al limite, inserire hardware specializzato in ogni dispositivo potrebbe non essere la risposta finale, riconosce Smith. "Perché non mettere tutti i computer in macchina? Penso che abbia davvero a che fare con l'evoluzione di quanto velocemente puoi controllarne il ciclo di vita", dice.

"Quando metti l'hardware nel mondo, di solito rimane lì da cinque a 10 anni", afferma Smith, mentre la tecnologia alla base di questi casi d'uso basati sull'esperienza si evolve ogni sei-12 mesi.

Anche le aziende molto grandi con catene di fornitura complicate spesso hanno difficoltà ad aggiornare il loro hardware. Nel 2015, Fiat Chrysler ha dovuto richiamare 1, 4 milioni di veicoli per riparare una vulnerabilità di sicurezza che era stata scoperta cinque anni prima. E il gigantesco chipmaker Intel sta ancora lottando per affrontare un difetto di progettazione che espone centinaia di milioni di dispositivi agli hacker.

Movidius El-Ouazzane riconosce queste sfide. "Sappiamo che ogni anno dovremo cambiare una gamma di prodotti, perché ogni anno porteremo più intelligenza ai margini e chiederemo ai nostri clienti di effettuare l'aggiornamento", afferma.

Per evitare richiami costanti e consentire ai clienti di utilizzare a lungo termine il loro hardware perimetrale, Movidius offre ai suoi processori risorse e capacità extra. "Abbiamo bisogno della capacità per i prossimi anni di eseguire aggiornamenti su questi prodotti", afferma El-Ouazzane.

Packet, la società di Smith, utilizza un approccio diverso: crea micro data center che possono essere implementati in città, vicino agli utenti. La società può quindi fornire agli sviluppatori risorse di calcolo a latenza molto bassa, il più vicino possibile agli utenti senza mettere l'hardware effettivo al limite.

"Riteniamo che sarà necessario un meccanismo di distribuzione dell'infrastruttura per mettere l'hardware a cui gli sviluppatori possono accedere in ogni città del mondo", afferma Smith. La società opera già in 15 località e prevede di espandersi in centinaia di città.

Ma le ambizioni di Packet vanno oltre la creazione di versioni in miniatura delle strutture tentacolari gestite da artisti del calibro di Google e Amazon. Come spiega Smith, la distribuzione e l'aggiornamento di hardware specializzato non è possibile con il cloud pubblico. Nel modello di business di Packet, i produttori e gli sviluppatori implementano hardware specializzato nei data center periferici dell'azienda, dove possono aggiornarlo e aggiornarlo rapidamente in caso di necessità, garantendo al contempo agli utenti un accesso superveloce alle risorse di elaborazione.

Hatch, uno dei clienti di Packet, è uno spin-off di Rovio, la società di giochi mobili che ha creato Angry Birds. La società gestisce Android su server edge computing per fornire servizi di streaming multiplayer a bassa latenza agli utenti con dispositivi Android di fascia bassa.

"ha bisogno di server ARM abbastanza specializzati in tutti questi mercati in tutto il mondo", afferma Smith. "Hanno configurazioni personalizzate della nostra offerta di server e la mettiamo in otto mercati globali in tutta Europa, e presto saranno 20 o 25 mercati. Per loro sembra Amazon, ma riescono a eseguire hardware personalizzato in ogni mercato in Europa ".

Teoricamente, Hatch potrebbe fare la stessa cosa nel cloud pubblico, ma i costi lo renderebbero un business inefficiente. "La differenza sta nel mettere 100 utenti per CPU rispetto a mettere 10.000 utenti per CPU", afferma Smith.

Smith ritiene che questo modello piacerà alla generazione degli sviluppatori che guiderà le prossime innovazioni del software. "Ciò su cui ci concentriamo è come collegare la generazione del software, le persone cresciute nel cloud, con primitive hardware specializzate", afferma Smith. "Stiamo parlando di utenti che non possono nemmeno aprire il loro MacBook per guardarsi dentro, e questa è la persona che sta per innovare nello stack hardware / software."

Le nuvole si dissolveranno?

Con i dispositivi periferici che sono in grado di eseguire complicate attività computazionali, il futuro del cloud è in pericolo?

"Per me, il edge computing è una progressione naturale e logica del cloud computing", afferma High di IBM Watson.

In effetti, nel 2016, IBM ha implementato una serie di strumenti che consentono agli sviluppatori di distribuire in modo trasparente attività tra edge e cloud, in particolare negli ecosistemi IoT, in cui i dispositivi edge raccolgono già molti dati sul loro ambiente immediato. E alla fine del 2016, Amazon Web Services, un'altra importante piattaforma di sviluppo cloud, ha annunciato Greengrass, un servizio che consente agli sviluppatori IoT di eseguire parti delle loro applicazioni cloud sui propri dispositivi periferici.

Niente di tutto ciò significa che il cloud sta scomparendo. "Ci sono molte cose che vanno meglio nel cloud, anche quando si lavora ancora molto sul bordo", afferma High. Ciò include attività come l'aggregazione di dati provenienti da molte fonti diverse e l'esecuzione di analisi su larga scala con enormi set di dati.

"Se dobbiamo creare modelli negli algoritmi di intelligenza artificiale che utilizziamo in questi dispositivi periferici, la creazione e l'addestramento di questi modelli rappresenta ancora un problema di enorme intensità computazionale e spesso richiede una capacità computazionale che supera di gran lunga ciò che è disponibile su questi dispositivi periferici", dice.

El-Ouzzane è d'accordo. "La capacità di addestrare i modelli di intelligenza artificiale a livello locale è estremamente limitata", afferma. "Dal punto di vista del deep learning, la formazione ha solo un posto dove sedersi, ed è nel cloud, dove si ottengono abbastanza risorse di calcolo e spazio di archiviazione sufficiente per gestire set di dati di grandi dimensioni."

El-Ouazzane prevede inoltre casi d'uso in cui ai dispositivi periferici sono assegnati compiti mission-time-time, mentre il cloud si occupa dell'inferenza più avanzata che non dipende dalla latenza. "Viviamo in un mondo di continuità tra la nuvola e il bordo."

"Esiste una relazione molto simbiotica e sinergica tra edge computing e cloud computing", afferma High.