Anche le “Intelligenze Artificiali” nel loro piccolo sbagliano

Dopo l’articolo che  abbiamo pubblicato “Usa: L’intelligenza artificiale sbaglia. Un innocente finisce in carcere ” vi proponiamo un dettagliata ricostruzione dei fatti a cura di JOLEK78 riportata dalla Bottega del Barbieri

I FATTI RACCONTATI
Nel gennaio del 2019 nella contea del New Jersey (USA) Nijeer Parks veniva accusato di aver rubato delle caramelle dal Hampton Inn hotel a Woodbridge. Pochi giorni dopo il sospettato veniva riconosciuto da un sistema d’intelligenza artificiale, e veniva fermato da un agente che, durante la perquisizione, trovava nella macchina appena noleggiata anche una bustina di marijuana e un’arma, dopo aver verificato che fosse in possesso anche di un documento d’identità falso. Il sospettato scappava speronando la macchina dell’ufficiale. Veniva successivamente arrestato e passava 10 giorni in cella e poi scarcerato per non aver commesso il fatto. La notizia mi sembrava assurda. Fermato per aver rubato caramelle? E per questo avrebbe speronato una macchina della polizia? Davvero? Cosi’ mi è venuto in mente che forse era il caso d’indagare un pochino più a fondo. Ed ecco cosa ho scoperto.

I FATTI

Nijeer Parks è un afroamericano
I miei bias culturali mi portavano subito a dire che non era un problema di giustizia o d’intelligenza artificiale ma di razzismo che portava un agente bianco ad arrestare un sospettato di colore anche in assenza di prove concrete. Dov’era la prova del DNA? Le immagini registrate erano cosi’ inequivocabili? E la pistola? E la marijuana? Come la mettiamo con la marijuana?

La corte del New Jersey
I documenti sono pubblici, quindi doveva essere possibile trovare da qualche parte anche la sentenza che aveva permesso di scarcerare Nijeer Parks. E dunque in un rivolo del web – che non vi dirò quale – ho trovato la sentenza:

Originale della sentenza – in inglese

I fatti si svolgono in questa sequenza:

• il 30 gennaio del 2019 Nijeer Parks riceve una chiamata da parte della nonna la quale lo avvisava di aver ricevuto in sua vece un mandato di arresto da parte della contea del NJ
• Nijeer Parks telefonava al dipartimento municipale del NJ e gli veniva detto che l’accusa si basava su un incidente automobilistico avvenuto a inizio anno in cui, il sospettato, aveva assalito un pubblico ufficiale
• Nijeer Parks rispondeva che questo non poteva essere vero poiché non aveva ancora sostenuto gli esami per la patente di guida – cosa che avvenne soltanto nel giugno del 2019 – e che comunque non ricordava esattamente dove fosse quel 30 gennaio
• il 5 febbraio del 2019 Nijeer Parks veniva accompagnato dal cugino presso la contea di NJ per chiarire l’avvenuto, e per risolvere una volta per tutte questo scambio d’identità.
• l’ufficiale lo condusse immediatamente in una stanza dove comincio’ l’interrogatorio. Le modalità furono talmente violente che portarono Nijeer Parks ad avere un attacco asmatico durante l’interrogatorio
• Nijeer Parks fu messo in arresto e condotto presso la contea di Middlesex dove passo’ i giorni seguenti in una cella d’isolamento
• dopo tre giorni, Nijeer Parks si presento’ davanti alla corte dove cerco’ di spiegare i non-fatti di cui era stato accusato
• dopo il primo appello, Nijeer Parks  venne ricondotto in cella per poi apparire davanti alla corte sette giorni dopo
• Nijeer Parks venne scarcerato per mancanza di prove, e cominciò la sua battaglia legale contro il dipartimento di polizia del NJ
• il 25 novembre 2020 veniva emessa la sentenza: il dipartimento di polizia del NJ veniva condannato a pagare i danni a Nijeer Parks

Nijeer Parks

Le prove a suo carico
La prova cardine, cioè quella del DNA, era già stata dichiarata come inconcludente fin dall’inizio delle indagini. Quando Nijeer Parks veniva chiamato a testimoniare, i suoi accusatori avevano già in mano i documenti che attestavano come il DNA non fosse lo stesso registrato durante l’evento. Inoltre Nijeer Parks non era fisicamente in quelle zone al momento dell’assalto alla polizia, e neanche al negozio dove qualcuno effettuato quel furto. E allora, le prove quali erano?

La IA di ClearView
Il dipartimento di polizia del NJ, come molti altri negli Stati Uniti, aveva cominciato ad utilizzare un software d’intelligenza artificiale piuttosto noto alle cronache. La IA coinvolta in questo errore si chiama Clearview, ed è capace di confrontare le immagini registrate dalle telecamere pubbliche o dagli agenti di polizia con un database di più’ di 3 miliardi d’immagini presente al suo interno. Per fare questo, utilizza un sistema piuttosto complesso che non solo confronta e sovrappone i profili, ma tenta automaticamente di tracciare le distanze fra zigomi, naso, bocca e occhi , il che in apparenza aumenta il grado di affidabilità nei riconoscimenti facciali. Clearview è attualmente in una battaglia legale con Twitter, Facebook e Google perché le grandi piattaforme si sono lamentate dei problemi di sicurezza a cui un utilizzo scorretto potrebbe portare.

Io che sono malpensante: un’azienda come Google che si vede scaricare più di 3 miliardi d’immagini dal suo database non si domanda quali siano i problemi di sicurezza, ma come far pagare la Clearview per avere accesso ai suoi dati

Questo non è il primo caso. Sembra che Nijeer Parks sia il terzo afroamericano Identificato erroneamente dalle intelligenze artificiali a riconoscimento facciale. Come mai? Le IA a riconoscimento facciale sono ben note nell’aver problemi per quanto riguarda le ombre, e diminuiscono la loro affidabilità durante le analisi dei volti scuri come afroamericani, asiatici e messicani. Per quanto riguarda la ClearView IA, non è chiaro quali siano i suoi investitori, non è chiaro tecnicamente come funzioni se non nella sua interfaccia via web, e questa mancanza di trasparenza non fa ben pensare. Inoltre, cosa che mi ha fatto saltare sulla sedia, il suo codice non è stato rilasciato in OpensSource, quindi nessuno sa esattamente cosa faccia e come lo faccia, ed è venduta come pacchetto chiuso ai dipartimenti di polizia che semplicemente la utilizzano senza sapere i dettagli tecnici.

Affidabilità dichiarata
In una intervista (alla CNN) il CEO dell’azienda dichiara che l’affidabilità del sistema d’intelligenza artificiale in questione arriva fino al 99.6%. Dati a supporto della sua affermazione? Nessuno. Motivi per fidarsi della sua affermazione? Nessuno. Il sistema è stato utilizzato anche durante l’attacco a Capitol Hill per fermare e identificare “gli insorgenti” che provenivano dalla manifestazione indetta da Trump nel giorno dell’insediamento di Biden. Oltre che in USA, il sistema è in fase di test sia nel Regno Unito sia in Australia.

Il confronto
L’immagine di Nijeer Parks veniva confrontata con l’immagine del documento falso ricevuto durante la perquisizione qui di seguito:

Owens Jamal – sospettato

Falle di sicurezza
La stampa ha riportato nel 2020 ben due falle di sicurezza. La prima nel febbraio del 2020 dove un gruppo hacker ha avuto accesso al suo database, e l’altra nel aprile del 2020 dove un membro della sicurezza dell’azienda SpiderSilk a Dubai ha trovato un sistema per poter avere accesso addirittura al suo codice sorgente e registrarsi come utente random per avere accesso all’app, sottomettere modifiche, senza avere pagato una licenza di utilizzo.

Screenshot – leaked

Riflessioni finali
Io sono abbastanza scioccato già cosi’. Di riflessioni ulteriori non ne faccio perché mi sembra chiaro quali siano i rischi a cui stiamo andando incontro. Ma l’alternativa non è il luddismo. L’alternativa è soltanto la conoscenza.

jolek78

note:
https://clearview.ai/
https://www.youtube.com/watch?v=q-1bR3P9RAw
https://www.nytimes.com/2020/12/29/technology/facial-recognition-misidentify-jail.html
https://www.engadget.com/facial-recognition-wrongful-arrest-lawsuit-new-jersey-201517290.html
https://www.bbc.co.uk/news/technology-51658111
https://techcrunch.com/2020/04/16/clearview-source-code-lapse/
https://afrotech.com/nijeer-parks-becomes-third-black-man-wrongfully-arrested-for-false-facial-recognition-identification