Una ricerca del governo americano suggerisce che gli algoritmi di riconoscimento facciale sono molto meno accurati nell’identificare i volti afroamericani e asiatici rispetto ai volti caucasici. Una prova del rischio sociale di tale tecnologia.
Secondo questo studio, le donne afroamericane avrebbero ancora più probabilità degli uomini di essere identificate erroneamente. Ciò pone nuovi dubbi sul fatto che tale tecnologia possa o debba essere utilizzata dalle forze dell’ordine.
Un critico ha definito i risultati «scioccanti»: il software di fatto ha risultati diversi in base a sesso, età e etnia. Questi parametri, che sono sempre stati alla base di disuguaglianze che, se umane, vengono definite pregiudiziali, ora sono prodotti dalla macchina e possono riprodurre vecchie ingiustizie colpendo le stesse minoranze etniche precedentemente discriminate. Anche se non sono basate su odio o pregiudizi umani, gli effetti, se impiegati nel settore pubblico, potrebbero essere uguali se non peggiori.
Il National Institute of Standards and Technology (Nist) ha testato 189 algoritmi di 99 sviluppatori, la maggior parte del mercato di tali software, tra cui Intel, Microsoft, Toshiba e le aziende cinesi Tencent e DiDi Chuxing.
Genere e razza
Amazon – che vende il suo prodotto di riconoscimento facciale Rekognition alle forze di polizia statunitensi – non ne ha voluto sottoporre alcuno a questa revisione. Il gigante della vendita al dettaglio aveva precedentemente definito uno studio del Massachusetts Institute of Technology «fuorviante». Quel rapporto aveva suggerito che il Rekognition si comportava male quando si trattava di riconoscere le donne con pelle più scura.
In particolare, secondo questo nuovo studio, quando si abbina una particolare foto a un’altra della stessa faccia, nota come “corrispondenza uno a uno”, molti degli algoritmi testati identificano falsamente i volti afroamericani e asiatici tra le dieci e le 100 volte più di quelli caucasici. E le donne afroamericane hanno maggiori probabilità di essere identificate erroneamente nel cosiddetto “abbinamento uno-a-molti”, che confronta una particolare foto con molte altre in un database.
Il deputato Bennie Thompson, presidente del comitato della Camera sulla sicurezza interna degli Stati Uniti, ha dichiarato a Reuters: «L’amministrazione deve rivedere i suoi piani per la tecnologia di riconoscimento facciale alla luce di questi risultati scioccanti». Lo scienziato informatico Joy Buolamwini, fondatore della Algorithmic Justice League, ha definito il rapporto «una confutazione globale» di coloro che affermano che i pregiudizi nei software di intelligenza artificiale non sono un problema.
Gli algoritmi nello studio Nist sono stati testati su due tipi di errore:
- falsi positivi, in cui il software considera erroneamente che le foto di due persone diverse mostrano la stessa persona;
- falsi negativi, in cui il software non riesce a far corrispondere due foto che mostrano la stessa persona.
Il software utilizzava le foto dei database forniti dal Dipartimento di Stato, dal Dipartimento per la Sicurezza interna e dall’Fbi, senza immagini da social media o videosorveglianza. «Sebbene di solito non sia corretto fare dichiarazioni trasversali sugli algoritmi, abbiamo trovato prove empiriche dell’esistenza di differenziali demografici nella maggior parte degli algoritmi di riconoscimento facciale che abbiamo studiato», ha affermato Patrick Grother, un informatico della Nist e autore principale del paper.
Bug e potere
«Mentre non esploriamo ciò che potrebbe causare questi differenziali, questi dati saranno preziosi per i responsabili delle politiche, gli sviluppatori e gli utenti finali nel pensare ai limiti e all’uso appropriato di questi algoritmi». Una delle aziende cinesi, SenseTime, i cui algoritmi sono stati trovati inesatti, ha affermato che questo era il risultato di bug che ora erano stati risolti.
«I risultati non riflettono i nostri prodotti, in quanto sottoposti a test approfonditi prima di entrare nel mercato. Ecco perché le nostre soluzioni commerciali segnalano un alto grado di precisione», ha detto un portavoce alla Bbc. Diverse città degli Stati Uniti, tra cui San Francisco e Oakland in California e Somerville, nel Massachusetts, hanno già vietato l’uso della tecnologia di riconoscimento facciale. Le tecnologie di riconoscimento facciale sembrano essere il primo luogo in cui la convergenza tra diversi sviluppatori, diversi modelli di sviluppo e ideologie, l’impatto sui diritti civili e le questioni legate alla sicurezza nazionale stiano generando un conflitto di valori.
Sembra essenziale monitorare il tema: come risponderemo alla questione orienterà il nostro atteggiamento a considerare queste tecnologie e a gestirne politicamente il loro impiego. Da parte di chi scrive, suona forte più che mai l’appello che questo blog rivolge ai suoi lettori: abbiamo bisogno di un’algo-etica, se non vogliamo dover lottare contro severe forme di algo-crazia.
Immagine: © Black & Missing Foundation
Paolo Benanti per SettimanaNews
Paolo Benanti, francescano del Terzo Ordine Regolare, si occupa di etica, bioetica ed etica delle tecnologie. I suoi studi si focalizzano sulla gestione dell’innovazione internet e l’impatto del Digital Age, le biotecnologie per il miglioramento umano e la biosicurezza, le neuroscienze e le neurotecnologie. Qui il suo blog.
