Le unità di elaborazione tensore di Google cambiano le regole per l'apprendimento automatico

Uno degli annunci più interessanti - e inattesi - che Google ha fatto alla sua conferenza degli sviluppatori di I / O la scorsa settimana è stato che ha progettato e implementato i propri chip per l'apprendimento automatico. Durante il suo keynote, il CEO di Google Sundar Pichai ha presentato ciò che ha definito Tensor Processing Unit (TPUs), affermando che la società li ha utilizzati nelle sue macchine AlphaGo, che ha sconfitto il campione di Go Lee Sedol.

"I TPU sono un ordine di grandezza per prestazioni superiori per watt rispetto agli FPGA e alle GPU commerciali", ha affermato Pichai. Sebbene non abbia fornito molti dettagli, il noto ingegnere hardware di Google Norm Jouppi ha spiegato in un post sul blog che un TPU è un ASIC personalizzato (circuito integrato specifico dell'applicazione). In altre parole, è un chip appositamente progettato per eseguire l'apprendimento automatico e realizzato su misura per TensorFlow, il framework di apprendimento automatico di Google.

Immagine

Nel post, Jouppi ha affermato di essere "più tollerante" nei confronti della precisione computazionale ridotta, il che significa che richiede meno transistor per operazione. Ciò consente a Google di ottenere più operazioni al secondo, consentendo agli utenti di ottenere risultati più rapidamente. Ha detto che una scheda con un TPU si inserisce in uno slot per unità disco rigido nei rack del data center e ha mostrato un'immagine di rack per server pieni di TPU, che ha affermato di essere stati utilizzati nelle macchine AlphaGo dell'azienda.

Inoltre, Jouppi ha affermato che i TPU stanno già lavorando su una serie di applicazioni su Google, tra cui RankBrain, utilizzate per migliorare la pertinenza dei risultati di ricerca e Street View, per migliorare l'accuratezza e la qualità delle mappe e della navigazione.

In una conferenza stampa, il vicepresidente di Google per l'infrastruttura tecnica Urs Hölzle ha confermato che il TPU funziona utilizzando la matematica di interi a 8 bit, anziché la matematica a virgola mobile di alta precisione per la quale sono progettate la maggior parte delle moderne CPU e GPU. La maggior parte degli algoritmi di apprendimento automatico può andare bene con dati a risoluzione più bassa, il che significa che il chip può gestire più operazioni in una determinata area e affrontare modelli più complessi in modo efficiente. Questa non è una nuova idea; il modulo Nvidia Drive PX 2, annunciato all'inizio di quest'anno al CES, è in grado di 8 teraflop con precisione in virgola mobile a 32 bit ma raggiunge 24 "teraops" di apprendimento profondo (il termine dell'azienda per 8 -bit intero matematico).

Sebbene Hölzle abbia rifiutato di entrare nei dettagli, i rapporti dicono che ha confermato che Google sta usando sia TPU che GPU oggi. Ha detto che continuerà per qualche tempo, ma ha suggerito che Google consideri le GPU troppo generiche, preferendo un chip più ottimizzato per l'apprendimento automatico. Ha detto che la società rilascerà un documento che descrive i vantaggi del chip in seguito, ma ha chiarito che questi sono progettati solo per uso interno, non per la vendita ad altre società. Un'altra applicazione che ha descritto stava usando i chip per gestire parte dell'elaborazione dietro il motore di riconoscimento vocale utilizzato sul telefono Android.

La scelta di utilizzare un ASIC è una scommessa interessante di Google. I più grandi progressi nell'apprendimento automatico degli ultimi anni - la tecnologia alla base della grande spinta per le reti neurali profonde - è stata l'adozione di GPU, in particolare la linea Nvidia Tesla, per addestrare questi modelli. Più di recente, Intel ha acquistato Altera, uno dei principali produttori di FPGA (array di gate programmabili sul campo), che si trovano da qualche parte nel mezzo; non sono così generici come le GPU o specificamente progettati per TensorFlow come il chip di Google, ma possono essere programmati per svolgere una varietà di attività. Microsoft ha sperimentato FPGA Altera per l'apprendimento approfondito. IBM sta sviluppando il suo chip neurosynaptic TrueNorth progettato specificamente per le reti neurali, che ha recentemente iniziato a essere utilizzato in una varietà di applicazioni. Cadence (Tensilica), Freescale e Synopsys stanno spingendo i loro DSP (processori di segnali digitali) per eseguire questi modelli; Mobileye e NXP hanno recentemente annunciato chip progettati appositamente per ADAS e auto a guida autonoma; e diverse società più piccole, tra cui Movidius e Nervana, hanno annunciato piani per chip specificamente progettati per l'IA.

È troppo presto per sapere quale approccio sarà meglio a lungo termine, ma avere alcune opzioni molto diverse significa che probabilmente vedremo una competizione interessante nei prossimi anni.