L'intelligenza artificiale ha un problema di pregiudizio ed è colpa nostra

Nel 2016, i ricercatori della Boston University e di Microsoft stavano lavorando su algoritmi di intelligenza artificiale quando hanno scoperto tendenze razziste e sessiste nella tecnologia alla base di alcuni dei servizi più popolari e critici che utilizziamo ogni giorno. La rivelazione è andata contro la saggezza convenzionale secondo cui l'intelligenza artificiale non soffre dei pregiudizi di genere, razziali e culturali che noi umani facciamo.

I ricercatori hanno fatto questa scoperta mentre studiavano algoritmi di incorporamento delle parole, un tipo di intelligenza artificiale che trova correlazioni e associazioni tra parole diverse analizzando grandi quantità di testo. Ad esempio, un algoritmo addestrato per incorporare le parole può capire che le parole per i fiori sono strettamente correlate a sentimenti piacevoli. A un livello più pratico, l'incorporamento delle parole comprende che il termine "programmazione per computer" è strettamente correlato a "C ++", "JavaScript" e "analisi e progettazione orientate agli oggetti". Quando integrata in un'applicazione di scansione del curriculum, questa funzionalità consente ai datori di lavoro di trovare candidati qualificati con meno sforzo. Nei motori di ricerca, può fornire risultati migliori facendo apparire contenuti semanticamente correlati al termine di ricerca.

I ricercatori della BU e della Microsoft hanno scoperto che gli algoritmi di incorporamento delle parole presentavano pregiudizi problematici, come associare "programmatore di computer" a pronomi maschili e "casalinga" con quelli femminili. Le loro scoperte, che hanno pubblicato in un articolo di ricerca intitolato "L'uomo è programmatore di computer come la donna è casalinga?" è stato uno dei numerosi rapporti a sfatare il mito della neutralità dell'IA e a far luce sui pregiudizi algoritmici, un fenomeno che sta raggiungendo dimensioni critiche man mano che gli algoritmi diventano sempre più coinvolti nelle nostre decisioni quotidiane.

Le origini del pregiudizio algoritmico

Gli algoritmi di machine learning e deep learning sono alla base della maggior parte dei moderni software basati su AI. Contrariamente al software tradizionale, che funziona in base a regole predefinite e verificabili, l'apprendimento profondo crea le proprie regole e apprende con l'esempio.

Ad esempio, per creare un'applicazione di riconoscimento delle immagini basata sull'apprendimento profondo, i programmatori "addestrano" l'algoritmo fornendo dati etichettati: in questo caso, le foto contrassegnate con il nome dell'oggetto che contengono. Una volta che l'algoritmo ingerisce abbastanza esempi, può raccogliere modelli comuni tra dati con etichetta simile e utilizzare tali informazioni per classificare campioni senza etichetta.

Questo meccanismo consente all'apprendimento approfondito di eseguire molte attività che erano praticamente impossibili con il software basato su regole. Ma significa anche che il software di apprendimento profondo può ereditare pregiudizi nascosti o palesi.

"Gli algoritmi AI non sono intrinsecamente distorti", afferma il professor Venkatesh Saligrama, che insegna al Dipartimento di ingegneria elettrica e informatica dell'Università di Boston e ha lavorato sugli algoritmi di incorporamento delle parole. "Hanno funzionalità deterministiche e rileveranno tutte le tendenze già esistenti nei dati su cui si allenano."

Gli algoritmi di incorporamento delle parole testati dai ricercatori della Boston University sono stati formati su centinaia di migliaia di articoli da Google News, Wikipedia e altre fonti online in cui i pregiudizi sociali sono profondamente integrati. Ad esempio, a causa della cultura del fratello che domina l'industria tecnologica, i nomi maschili escono più spesso con lavori legati alla tecnologia e questo porta gli algoritmi ad associare gli uomini a lavori come la programmazione e l'ingegneria del software.

"Gli algoritmi non hanno il potere della mente umana nel distinguere il bene dal male", aggiunge Tolga Bolukbasi, uno studente di dottorato dell'ultimo anno alla BU. Gli umani possono giudicare la moralità delle nostre azioni, anche quando decidiamo di agire contro le norme etiche. Ma per gli algoritmi, i dati sono l'ultimo fattore determinante.

Saligrama e Bolukbasi non furono i primi a suscitare l'allarme per questo pregiudizio. I ricercatori di IBM, Microsoft e dell'Università di Toronto hanno sottolineato la necessità di prevenire la discriminazione algoritmica in un articolo pubblicato nel 2011. All'epoca, il pregiudizio algoritmico era una preoccupazione esoterica e il deep learning non era ancora entrato nel mainstream. Oggi, tuttavia, il pregiudizio algoritmico lascia già un segno su molte delle cose che facciamo, come leggere notizie, trovare amici, fare shopping online e guardare video su Netflix e YouTube.

L'impatto del pregiudizio algoritmico

Nel 2015, Google ha dovuto scusarsi dopo che gli algoritmi che alimentavano la sua app Foto hanno taggato due gorilla come gorilla, forse perché il suo set di dati di addestramento non aveva abbastanza foto di neri. Nel 2016, dei 44 vincitori di un concorso di bellezza giudicato dall'IA, quasi tutti erano bianchi, alcuni erano asiatici e solo uno aveva la pelle scura. Ancora una volta, il motivo era che l'algoritmo era principalmente addestrato con foto di bianchi.

Google Foto, siete tutti incasinati. Il mio amico non è un gorilla. pic.twitter.com/SMkMCsNVX4

- Jackyalciné non risponde molto qui. DM (@jackyalcine) 29 giugno 2015

Più di recente, un test dei servizi di analisi del volto di IBM e Microsoft ha scoperto che gli algoritmi delle aziende erano quasi impeccabili nel rilevare il genere degli uomini con la pelle chiara ma spesso errati quando presentati con immagini di donne con pelle scura.

Sebbene questi incidenti abbiano probabilmente causato un danno trascurabile, lo stesso non si può dire degli algoritmi di intelligenza artificiale in settori più critici, come l'assistenza sanitaria, le forze dell'ordine e il reclutamento. Nel 2016, un'indagine di ProPublica ha scoperto che COMPAS, un software basato sull'intelligenza artificiale che valuta il rischio di recidiva nei rei, era influenzato dalle persone di colore. La scoperta è stata particolarmente preoccupante perché i giudici di alcuni stati usano COMPAS per determinare chi cammina libero e chi resta in prigione.

In un altro caso, uno studio sulla piattaforma pubblicitaria di Google, che è alimentata da algoritmi di deep learning, ha scoperto che agli uomini venivano mostrate pubblicità per lavori ben pagati più spesso delle donne. Uno studio separato ha riscontrato un problema simile con gli annunci di lavoro di LinkedIn. Ancora un altro ha dimostrato che gli algoritmi di assunzione di parte avevano il 50 percento in più di probabilità di inviare un invito a un colloquio a una persona il cui nome era europeo-americano rispetto a qualcuno con un nome afro-americano.

Aree come l'approvazione del prestito, il rating del credito e la borsa di studio affrontano minacce simili.

Il pregiudizio algoritmico è ulteriormente preoccupante a causa di come potrebbe amplificare i pregiudizi sociali. Con l'illusione che l'IA sia fredda, il calcolo matematico privo di pregiudizi o pregiudizi, gli umani possono tendere a fidarsi del giudizio algoritmico senza metterlo in discussione.

In un'intervista con Wired UK, Andrew Wooff, docente di criminologia della Napier University di Edimburgo, ha osservato che il mondo della polizia "sotto pressione nel tempo e ad alta intensità di risorse" potrebbe indurre le forze dell'ordine a fare troppo affidamento sulle decisioni algoritmiche. "Posso immaginare una situazione in cui un agente di polizia può fare più affidamento sul sistema che sui propri processi decisionali", ha affermato. "In parte potrebbe essere così che tu possa giustificare una decisione quando qualcosa va storto."

Basarsi su algoritmi di parte crea un circuito di feedback: prendiamo decisioni che creano dati più distorti che gli algoritmi analizzeranno e su cui formeranno in futuro.

Questo genere di cose sta già accadendo sui social media come Facebook e Twitter. Gli algoritmi che eseguono i feed di notizie creano "bolle filtro", che mostrano contenuti conformi alle preferenze e ai pregiudizi degli utenti. Ciò può renderli meno tolleranti nei confronti di opinioni opposte e può anche polarizzare ulteriormente la società guidando un cuneo attraverso il divario politico e sociale.

"Il pregiudizio algoritmico potrebbe potenzialmente avere un impatto su qualsiasi gruppo", afferma Jenn Wortman Vaughan, ricercatore senior di Microsoft. "I gruppi che sono sottorappresentati nei dati possono essere particolarmente a rischio."

In settori già noti per pregiudizi, come la discriminazione endemica del settore tecnologico nei confronti delle donne, gli algoritmi di intelligenza artificiale potrebbero accentuare tali pregiudizi e comportare un'ulteriore emarginazione di gruppi che non sono ben rappresentati.

La salute è un altro dominio critico, sottolinea Wortman. "Potrebbe causare seri problemi se un algoritmo di apprendimento automatico utilizzato per la diagnosi medica viene addestrato sui dati di una popolazione e, di conseguenza, non riesce a funzionare bene su altri", afferma.

La distorsione può anche essere dannosa in modi più sottili. "L'anno scorso avevo in programma di portare mia figlia a fare un taglio di capelli e ho cercato online immagini di" tagli di capelli da bambina "come fonte di ispirazione", afferma Wortman. Ma le immagini restituite erano quasi tutte di bambini bianchi, principalmente con i capelli lisci e, più sorprendentemente, soprattutto i ragazzi, notò.

Gli esperti chiamano questo fenomeno "danno rappresentativo": quando la tecnologia rinforza gli stereotipi o diminuisce gruppi specifici. "È difficile quantificare o misurare l'impatto esatto di questo tipo di distorsione, ma ciò non significa che non sia importante", afferma Wortman.

Rimozione del bias dagli algoritmi AI

Le implicazioni sempre più critiche della propensione all'intelligenza artificiale hanno attirato l'attenzione di diverse organizzazioni e organi di governo e sono stati presi alcuni provvedimenti positivi per affrontare le questioni etiche e sociali che circondano l'uso dell'IA in diversi campi.

Microsoft, i cui prodotti si basano fortemente su algoritmi di intelligenza artificiale, tre anni fa ha lanciato un progetto di ricerca chiamato Equità, responsabilità, trasparenza ed etica nell'intelligenza artificiale (FATE), volto a consentire agli utenti di godere di approfondimenti ed efficienza dei servizi basati sull'intelligenza artificiale senza discriminazioni e bias.

In alcuni casi, come il concorso di bellezza giudicato dall'intelligenza artificiale, trovare e correggere la fonte del comportamento distorto di un algoritmo di intelligenza artificiale potrebbe essere facile come controllare e modificare le foto nel set di dati di allenamento. Ma in altri casi, come gli algoritmi di incorporamento delle parole esaminati dai ricercatori della Boston University, la distorsione è incisa nei dati di addestramento in modi più sottili.

Il team BU, a cui si è unito il ricercatore Microsoft Adam Kalai, ha sviluppato un metodo per classificare gli incastri di parole in base alle loro categorie di genere e identificare analogie potenzialmente distorte. Ma non hanno preso la decisione finale e avrebbero gestito ciascuna delle associazioni sospette da 10 persone su Mechanical Turk, il mercato online di Amazon per le attività relative ai dati, che avrebbero deciso se rimuovere o meno l'associazione.

"Non volevamo inserire i nostri pregiudizi nel processo", afferma Saligrama, professore e ricercatore della BU. "Abbiamo appena fornito gli strumenti per scoprire associazioni problematiche. Gli umani hanno preso la decisione finale."

In un documento più recente, Kalai e altri ricercatori hanno proposto l'uso di algoritmi separati per classificare diversi gruppi di persone invece di utilizzare le stesse misure per tutti. Questo metodo può rivelarsi efficace nei domini in cui i dati esistenti sono già distorti a favore di un gruppo specifico. Ad esempio, gli algoritmi che valuterebbero i candidati di sesso femminile per un lavoro di programmazione utilizzerebbero i criteri più adatti per quel gruppo invece di utilizzare l'insieme più ampio di dati che è profondamente influenzato dai pregiudizi esistenti.

Wortman di Microsoft vede l'inclusività nel settore dell'intelligenza artificiale come un passo necessario per combattere il pregiudizio negli algoritmi. "Se vogliamo che i nostri sistemi di intelligenza artificiale siano utili a tutti e non solo a determinati dati demografici, le aziende devono assumere diversi team per lavorare sull'intelligenza artificiale", afferma.

Nel 2006, Wortman ha aiutato a fondare Women in Machine Learning (WiML), che tiene un seminario annuale in cui le donne che studiano e lavorano nel settore dell'intelligenza artificiale possono incontrarsi, fare rete, scambiare idee e partecipare a discussioni di gruppo con donne senior nell'industria e nel mondo accademico. Uno sforzo simile è il nuovo Black in AI Workshop, fondato da Timnit Gebru, un altro ricercatore di Microsoft, che mira a sviluppare talenti più diversi nell'IA.

Bolukbasi della Boston University propone anche di modificare il modo in cui gli algoritmi AI risolvono i problemi. "Gli algoritmi sceglieranno un insieme di regole che massimizza il loro obiettivo. Ci possono essere molti modi per raggiungere lo stesso insieme di conclusioni per determinate coppie di output di input", afferma. "Prendi l'esempio dei test a scelta multipla per l'uomo. Uno può raggiungere la risposta giusta con un processo di pensiero sbagliato, ma ottenere comunque lo stesso punteggio. Un test di alta qualità dovrebbe essere progettato per ridurre al minimo questo effetto, consentendo solo alle persone che conoscere l'argomento per ottenere punteggi corretti. Rendere gli algoritmi consapevoli dei vincoli sociali può essere visto come un analogo a questo esempio (sebbene non esatto), in cui l'apprendimento di una serie di regole sbagliate è penalizzato nell'obiettivo. Questa è una ricerca continua e stimolante argomento."

L'opacità di AI complica l'equità

Un'altra sfida che ostacola la correttezza degli algoritmi AI è il fenomeno della "scatola nera". In molti casi, le aziende custodiscono gelosamente i loro algoritmi: ad esempio, Northpointe Inc., il produttore di COMPAS, il software di previsione del crimine, ha rifiutato di divulgare il suo algoritmo proprietario. Le uniche persone a conoscenza del funzionamento interno di COMPAS sono i suoi programmatori, non i giudici che lo usano per giudicare.

A parte il segreto aziendale, gli algoritmi dell'IA a volte diventano così contorti che i motivi e i meccanismi alla base delle loro decisioni sfuggono persino ai loro creatori. Nel Regno Unito, la polizia di Durham utilizza il sistema di intelligenza artificiale HART per determinare se i sospetti hanno un rischio basso, moderato o elevato di commettere ulteriori crimini entro un periodo di due anni. Ma una recensione accademica del 2017 di HART ha osservato che "l'opacità sembra difficile da evitare". Ciò è in parte dovuto alla mera quantità e varietà di dati utilizzati dal sistema, il che rende difficile analizzare i motivi alla base delle sue decisioni. "Questi dettagli potrebbero essere resi disponibili gratuitamente al pubblico, ma richiederebbero un'enorme quantità di tempo e sforzi per comprendere appieno", afferma il documento.

Diverse aziende e organizzazioni stanno conducendo sforzi per portare trasparenza all'intelligenza artificiale, tra cui Google, che ha lanciato GlassBox, un'iniziativa per rendere più comprensibile il comportamento degli algoritmi di apprendimento automatico senza sacrificare la qualità dell'output. La Defense Advanced Research Projects Agency (DARPA), che supervisiona l'uso dell'IA in campo militare, sta anche finanziando uno sforzo per consentire agli algoritmi di intelligenza artificiale di spiegare le loro decisioni.

In altri casi, il giudizio umano sarà la chiave per affrontare i pregiudizi. Per evitare che i preconcetti umani razziali e sociali esistenti si insinuino negli algoritmi di HART, il Constabulary di Durham ha fornito ai membri del proprio personale sessioni di sensibilizzazione sui pregiudizi inconsci. Le forze di polizia hanno anche preso provvedimenti per rimuovere punti di dati come tratti razziali, che potrebbero creare le basi per decisioni distorte.

Responsabilità umana

Da una prospettiva diversa, gli algoritmi AI possono offrire l'opportunità di riflettere sui nostri pregiudizi e pregiudizi. "Il mondo è distorto, i dati storici sono distorti, quindi non sorprende che riceviamo risultati distorti", ha detto a The Guardian Sandra Wachter, ricercatrice di etica e algoritmi dei dati presso l'Università di Oxford.

Wachter fa parte di un gruppo di ricerca dell'Alan Turing Institute di Londra e dell'Università di Oxford, che ha pubblicato un documento in cui si chiedono regolamenti e istituzioni per indagare su possibili discriminazioni da parte di algoritmi AI.

Parlando anche con The Guardian , Joanna Bryson, una scienziata informatica dell'Università di Bath e coautore di un documento di ricerca sulla distorsione algoritmica, ha dichiarato: "Molte persone stanno dicendo che sta dimostrando che l'IA è prevenuta. No. Questo sta dimostrando che noi sei prevenuto e che l'IA lo sta imparando ".

Nel 2016, Microsoft ha lanciato Tay, un bot di Twitter che avrebbe dovuto imparare dagli umani e avviare conversazioni intelligenti. Ma entro 24 ore dal lancio di Tay, Microsoft ha dovuto chiuderlo dopo aver iniziato a vomitare commenti razzisti, che aveva raccolto dalle sue conversazioni con gli utenti di Twitter. Forse questo ci ricorda che è passato il tempo in cui noi umani riconosciamo il nostro ruolo nell'apparizione e propagazione del fenomeno della distorsione algoritmica e prendiamo provvedimenti collettivi per annullarne gli effetti.

"Questo è un compito molto complicato, ma è una responsabilità che noi come società non dovremmo rifuggire", afferma Wachter.