L’intelligenza artificiale scambia un pacchetto di patatine per una pistola: il video dello studente ammanettato e poi rilasciato

A Baltimore, Stati Uniti, alcuni studenti afroamericani sono stati fermati dalla polizia. Uno di loro è stato perfino ammanettato, dopo che il sistema di videosorveglianza della scuola, basato sull’intelligenza artificiale, aveva rilevato una pistola nelle mani dello studente. Quella identificata come una pistola, in realtà, non era altro che un pacchetto di patatine che il ragazzo stava mangiando. L’intera vicenda, e lo scivolone piuttosto grossolano dell’IA, ha fatto rapidamente il giro del web grazie alle immagini registrate dalle bodycam indossate da alcuni agenti di polizia, che sono intervenuti in massa dopo l’allarme lanciato dal sistema di videosorveglianza.

Il video dell’arresto e del rilascio

Nel video si vede l’arresto di uno dei ragazzi presenti all’esterno della Kenwood High School. La polizia, infatti, convinta della presenza di una pistola, come da segnalazione, ha provveduto ad ammanettare lo studente. Dopo una verifica, però, è stato confermato che non c’era alcuna minaccia e soprattutto nessuna pistola nei paraggi. Il ragazzo ammanettato è stato così prontamente rilasciato. Questo episodio, però, ha scatenato grande indignazione nella comunità, con genitori e consiglieri che hanno chiesto una revisione completa delle procedure. “Nessun bambino del nostro sistema scolastico dovrebbe essere fermato dalla polizia per aver mangiato un pacchetto di Doritos”, è la denuncia del consiglio della contea. Anche i genitori del ragazzo coinvolto nell’episodio hanno chiesto a gran voce un controllo più approfondito degli algoritmi e del riconoscimento visivo che regolano l’intelligenza artificiale dell’impianto di videosorveglianza.

Quello implementato nella scuola, infatti, è un software che analizza in tempo reale le immagini delle telecamere di sicurezza per individuare armi da fuoco come pistole o fucili. In teoria, però, il lavoro del software dovrebbe affiancare quello dei supervisori umani, e non sostituirlo. Idealmente, infatti, ogni avviso dovrebbe essere verificato dagli incaricati della sicurezza, prima di far partire la chiamata di emergenza. Alla Kenwood High School, invece, la chiamata alla autorità è partita troppo presto, prima ancora di un controllo umano. “È stato un errore grave e profondamente spiacevole. Il nostro obiettivo è garantire la sicurezza degli studenti, non metterli in situazioni traumatiche come questa”, ha dichiarato la sovrintendente Myriam Rogers.