La fotografia computazionale è pronta per il suo primo piano

Più di 87 milioni di americani hanno viaggiato a livello internazionale nel 2017, un numero record secondo l'US National Travel and Tourism Office. Se fossi in mezzo a loro, forse hai visitato una destinazione come Stonehenge, il Taj Mahal, la Baia di Ha Long o la Grande Muraglia cinese. E potresti aver usato il tuo telefono per scattare una panoramica, magari girandoti tutt'intorno con il tuo telefono per scattare una visione a 360 gradi del paesaggio.

Se hai avuto successo - nel senso che non c'erano sezioni disallineate, vignettatura o cambiamenti di colore - allora hai sperimentato un esempio semplice ma efficace di fotografia computazionale. Ma negli ultimi anni, la fotografia computazionale si è estesa oltre gli usi così ristretti. Potrebbe non solo darci una prospettiva diversa sulla fotografia, ma anche cambiare il modo di vedere il nostro mondo.

Cos'è la fotografia computazionale?

Marc Levoy, professore di informatica (emerito) all'Università di Stanford, ingegnere principale di Google e uno dei pionieri in questo campo emergente, ha definito la fotografia computazionale come una varietà di "tecniche di imaging computazionale che migliorano o estendono le capacità della fotografia digitale l'output è una fotografia normale, ma che non poteva essere stata scattata da una fotocamera tradizionale ".

Secondo Josh Haftel, principale product manager di Adobe, l'aggiunta di elementi computazionali alla fotografia tradizionale offre nuove opportunità, in particolare per le società di imaging e software: "Il modo in cui vedo la fotografia computazionale è che ci dà l'opportunità di fare due cose. Uno dei è cercare di arginare molte delle limitazioni fisiche che esistono all'interno delle telecamere mobili ".

Ottenere uno smartphone per simulare la profondità di campo (DOF), un segno distintivo di un'immagine dall'aspetto professionale, poiché separa visivamente il soggetto dallo sfondo, è un buon esempio. Ciò che impedisce a una fotocamera su un dispositivo molto sottile, come un telefono, di essere in grado di catturare un'immagine con un DOF superficiale sono le leggi della fisica.

"Non puoi avere superficiale profondità di campo con un sensore davvero piccolo ", afferma Haftel. Ma un sensore di grandi dimensioni richiede un obiettivo grande. E poiché la maggior parte delle persone desidera che i loro telefoni siano ultrasottili, un sensore di grandi dimensioni associato a un obiettivo grande e voluminoso non è un'opzione. Invece, i telefoni sono costruiti con piccoli obiettivi primari e minuscoli sensori, producendo una grande profondità di campo che rende tutti i soggetti vicini e ben messi a fuoco.

Haftel afferma che i produttori di smartphone e fotocamere semplici possono compensare ciò usando la fotografia computazionale per "imbrogliare simulando l'effetto in modi che ingannano l'occhio". Di conseguenza, gli algoritmi vengono utilizzati per determinare ciò che è considerato lo sfondo e ciò che è considerato un soggetto in primo piano. Quindi la fotocamera simula un DOF poco profondo sfocando lo sfondo.

Il secondo modo in cui Haftel afferma che la fotografia computazionale può essere utilizzata è quello di impiegare nuovi processi e tecniche per aiutare i fotografi a fare cose che non sono possibili utilizzando gli strumenti tradizionali. Haftel indica HDR (high dynamic range) come esempio.

"L'HDR è la capacità di scattare più scatti contemporaneamente o in rapida successione, e poi unirli insieme per superare i limiti della capacità naturale del sensore." In effetti, l'HDR, in particolare sui dispositivi mobili, può espandere la gamma tonale oltre ciò che il sensore di immagine è in grado di catturare in modo naturale, consentendoti di catturare più dettagli nelle luci più chiare e nelle ombre più scure.

Quando la fotografia computazionale non è all'altezza

Non tutte le implementazioni della fotografia computazionale hanno avuto successo. Due audaci tentativi sono stati le fotocamere Lytro e Light L16: invece di fondere funzionalità fotografiche tradizionali e computazionali (come fanno iPhone, telefoni Android e alcune fotocamere autonome), Lytro e Light L16 hanno tentato di concentrarsi esclusivamente sulla fotografia computazionale.

La prima ad essere lanciata sul mercato è stata la fotocamera a campo luminoso Lytro, nel 2012, che consente di regolare la messa a fuoco di una foto dopo aver catturato lo scatto. Lo ha fatto registrando la direzione della luce che entra nella telecamera, cosa che le telecamere tradizionali non fanno. La tecnologia era intrigante, ma la fotocamera aveva problemi, tra cui bassa risoluzione e un'interfaccia di difficile utilizzo.

Aveva anche un caso d'uso piuttosto ristretto. Come sottolinea Dave Etchells, fondatore, editore e caporedattore di Imaging Resource, "Pur essendo in grado di mettere a fuoco dopo che il fatto era una caratteristica interessante, l'apertura della fotocamera era così piccola, non si poteva davvero distinguere le distanze a meno che non ci fosse qualcosa di veramente vicino alla telecamera ".

Ad esempio, supponi di sparare a un giocatore di baseball contro un diamante di baseball locale. Potresti scattare una foto vicino al recinto e anche catturare il giocatore attraverso il recinto, anche se è lontano. Quindi puoi facilmente cambiare lo stato attivo dal recinto al giocatore. Ma come sottolinea Etchells, "Quanto spesso scatti una foto del genere?"

Un dispositivo più recente che mirava a essere una fotocamera computazionale autonoma era la Light L16, un tentativo di produrre una fotocamera sottile e portatile con qualità dell'immagine e prestazioni alla pari con una reflex digitale di fascia alta o una fotocamera mirrorless. La L16 è stata progettata con 16 diversi moduli obiettivo e sensore in un unico corpo macchina. Potente il software di bordo costruirà un'immagine dai vari moduli.

Etchells fu inizialmente colpito dal concetto di Light L16. Ma come prodotto reale, ha detto, "ha avuto una varietà di problemi".

Ad esempio, Light, la fotocamera e la società di fotografia che produce Light L16, ha affermato che i dati di tutti quei piccoli sensori sarebbero equivalenti ad avere un grande sensore. "Hanno anche affermato che sarebbe stata la qualità della reflex digitale", afferma Etchells. Ma nei loro test sul campo, Imaging Resource ha scoperto che non era così.

Ci sono stati altri problemi, tra cui il fatto che alcune aree della foto avevano un rumore eccessivo, "anche nelle aree luminose dell'immagine… E non c'era praticamente nessuna gamma dinamica: le ombre si sono appena collegate immediatamente", dice Etchells, il che significa che in alcune sezioni di foto, incluse le foto di esempio utilizzate dall'azienda per promuovere la fotocamera, non c'erano quasi dettagli nell'ombra.

"È stato anche solo un disastro in condizioni di scarsa luminosità", afferma Etchells. "Non era proprio una macchina fotografica molto buona, punto."

Qual è il prossimo?

Nonostante queste carenze, molte aziende stanno avanzando con nuove implementazioni della fotografia computazionale. In alcuni casi, stanno sfocando il confine tra ciò che è considerato fotografia e altri tipi di media, come video e VR (realtà virtuale).

Ad esempio, Google espanderà l'app Google Foto utilizzando l'IA (intelligenza artificiale) per nuove funzionalità, inclusa la colorazione delle foto in bianco e nero. Microsoft utilizza l'intelligenza artificiale nella sua app Pix per iOS in modo che gli utenti possano aggiungere senza problemi biglietti da visita a LinkedIn. Facebook lancerà presto una funzione di foto 3D, che "è un nuovo tipo di media che consente alle persone di catturare momenti 3D nel tempo utilizzando uno smartphone per condividere su Facebook". E nell'app di Adobe Lightroom, i fotografi di dispositivi mobili possono utilizzare le funzionalità HDR e acquisire immagini nel formato di file RAW.

VR e fotografia computazionale

Mentre i dispositivi mobili e persino le fotocamere autonome utilizzano la fotografia computazionale in modi intriganti, anche Di Più potenti casi d'uso provengono dal mondo delle piattaforme di realtà estesa, come VR e AR (realtà aumentata). Per James George, CEO e co-fondatore di Scatter, uno studio multimediale immersivo a New York, fotografia computazionale è aprendo nuovi modi per gli artisti di esprimere le loro visioni.

"In Scatter, vediamo la fotografia computazionale come la tecnologia abilitante di base di nuove discipline creative che stiamo cercando di sperimentare… L'aggiunta del calcolo potrebbe quindi iniziare a sintetizzare e simulare alcune delle stesse cose che i nostri occhi fanno con le immagini che noi vedere nel nostro cervello ", dice George.

In sostanza, si tratta di intelligenza. Usiamo il nostro cervello per pensare e comprendere le immagini che percepiamo.

"I computer stanno iniziando a essere in grado di guardare fuori nel mondo, vedere le cose e capire cosa sono nello stesso modo in cui possiamo", afferma George. Quindi la fotografia computazionale è "un ulteriore livello di sintesi e intelligenza che va oltre la semplice cattura di una foto ma in realtà inizia a simulare l'esperienza umana di percepire qualcosa".

Il modo in cui Scatter utilizza la fotografia computazionale si chiama fotografia volumetrica, che è un metodo per registrare un soggetto da vari punti di vista e quindi utilizzare il software per analizzare e ricreare tutti quei punti di vista in una rappresentazione tridimensionale. (Sia le foto che i video possono essere volumetrici e apparire come ologrammi simili a 3D che puoi spostare all'interno di un'esperienza VR o AR.) "Sono particolarmente interessato alla capacità di ricostruire le cose in più che in un modo bidimensionale, "dice George. "Nella nostra memoria, se camminiamo attraverso Uno spazio , possiamo effettivamente ricordare spazialmente dove le cose erano in relazione l'una con l'altra ".

George afferma che Scatter è in grado di estrarre e creare una rappresentazione di uno spazio che è "completamente e liberamente navigabile, nel modo in cui potresti essere in grado di attraversarlo come un videogioco o un ologramma. È un nuovo mezzo che è nato da l'intersezione tra videogiochi e cinema che consente la fotografia computazionale e il cinema volumetrico ".

Per aiutare gli altri a produrre volumetriche protezioni VR, Scatter ha sviluppato DepthKit, un'applicazione software che consente ai cineasti di sfruttare il sensore di profondità di telecamere come Microsoft Kinect come accessorio di una videocamera HD. Nel fare ciò, DepthKit, un ibrido CGI e software video, produce moduli 3D realistici "adatti alla riproduzione in tempo reale nei mondi virtuali", afferma George.

Scatter ha prodotto diverse esperienze VR con DepthKit usando la fotografia computazionale e le tecniche di produzione cinematografica volumetrica. Nel 2014, George ha collaborato con Jonathan Minard per creare "Clouds", un documentario che esplora l'arte del codice che includeva un componente interattivo. Nel 2017, Scatter ha prodotto un adattamento per la realtà virtuale basato sul film Zero Days , usando la realtà virtuale per offrire al pubblico una prospettiva unica all'interno del mondo invisibile della guerra cibernetica, per vedere le cose dal punto di vista del virus Stuxnet.

Uno dei più potenti progetti correlati a DepthKit è "Terminal 3", un'esperienza di realtà aumentata dell'artista pakistano Asad J. Malik, che è stata presentata in anteprima all'inizio dell'anno al festival cinematografico TriBeCa. L'esperienza ti consente di entrare nei panni di un ufficiale di pattuglia di frontiera degli Stati Uniti tramite un Microsoft HoloLens e di interrogare un ologramma volumetrico 3D simile a un fantasma di qualcuno che sembra essere un musulmano (ci sono sei personaggi totali che puoi intervistare).

"Asad è un nativo pakistano che è emigrato negli Stati Uniti per frequentare il college e ha avuto alcune esperienze piuttosto negative interrogati sul suo passato e sul perché fosse lì. Scioccato da quell'esperienza, ha creato 'Terminal 3'", afferma George.

Una delle chiavi di ciò che rende l'esperienza così avvincente è che il team di Malik di 1RIC, il suo studio di realtà aumentata, ha utilizzato DepthKit per trasformare i video in ologrammi volumetrici, che possono quindi essere importati in motori di videogiochi in tempo reale come Unity o 3D strumenti grafici come Maya e Cinema 4D. Aggiungendo i dati del sensore di profondità dal Kinect al video D-SLR per posizionare correttamente l'ologramma all'interno dello spazio virtuale AR, il software DepthKit trasforma il video in computazionale video. Una scacchiera in bianco e nero viene utilizzata per calibrare insieme la D-SLR e il Kinect, quindi entrambe le fotocamere possono essere utilizzate contemporaneamente per acquisire foto e video volumetrici.

• 10 suggerimenti rapidi per correggere le foto sbagliate 10 suggerimenti rapidi per correggere le foto errate
• 10 consigli di fotografia digitale Beyond-Basic 10 consigli di fotografia digitale Beyond-Basic
• 10 semplici suggerimenti e trucchi per una migliore foto dello smartphone 10 semplici suggerimenti e trucchi per una migliore foto dello smartphone

Poiché queste esperienze AR create con DepthKit sono simili al modo in cui funzionano i videogiochi, un'esperienza come "Terminal 3" può produrre potenti effetti interattivi. Ad esempio, George afferma che Malik consente agli ologrammi di cambiare forma mentre li interroghi: se durante l'interrogatorio, le tue domande diventano accusatorie, l'ologramma si smaterializza e appare meno umano. "Ma quando inizi a invocare la biografia della persona, le sue esperienze e i suoi valori", dice George, "l'ologramma inizia effettivamente a riempirsi e diventare più fotorealistico".

Nel creare questo sottile effetto, dice, puoi riflettere sulla percezione dell'interrogatore e su come potrebbero vedere una persona "come un semplice emblema anziché una persona reale con una vera identità e unicità". In un certo senso, potrebbe offrire agli utenti un maggiore livello di comprensione. "Attraverso una serie di istruzioni, in cui ti è permesso fare una domanda o l'altra", dice George, "ti trovi di fronte ai tuoi pregiudizi e, allo stesso tempo, a questa storia individuale".

Come la maggior parte delle tecnologie emergenti, la fotografia computazionale sta vivendo la sua parte di successi e insuccessi. Ciò significa che alcune caratteristiche importanti o intere tecnologie potrebbero avere una durata breve. Prendi il Lytro: nel 2017, poco prima che Google acquistasse la società, Lytro ha chiuso pictures.lytro.com, in modo da non poter più pubblicare immagini su siti Web o social media. Per chi lo manca, Panasonic ha una funzione di messa a fuoco simile a Lytro chiamata Post Focus, che ha incluso in varie fotocamere mirrorless di fascia alta e punta e scatta.

Gli strumenti e le funzioni di fotografia computazionale che abbiamo visto finora sono solo i inizio . Penso che questi strumenti diventeranno molto più potenti, dinamici e intuitivi poiché i dispositivi mobili sono progettati con fotocamere e obiettivi più recenti, più versatili, processori di bordo più potenti e capacità di rete cellulare più estese. In un futuro molto prossimo, potresti iniziare a vedere i veri colori della fotografia computazionale.