Agente IA segnala un omicidio inventato alla polizia
È successo a Filadelfia durante un test di Anthropic: la segnalazione è stata classificata come spam, ma l’azienda ha avvisato le autorità solo dopo oltre 2 mesi.
Un agente di intelligenza artificiale ha inviato alla polizia una segnalazione inventata su un omicidio irrisolto, senza che l’azienda che lo aveva sviluppato se ne accorgesse per oltre due mesi. È l’ultimo episodio che solleva interrogativi sui rischi legati alle attività autonome dei sistemi di IA, già coinvolti in casi di accesso non autorizzato a piattaforme e dati.
La falsa segnalazione alla polizia di Filadelfia
La segnalazione è stata inviata il 18 luglio attraverso un sito pubblico della polizia di Filadelfia, negli Stati Uniti, che raccoglie informazioni su omicidi irrisolti. L’agente, sviluppato da Anthropic, sosteneva di avere notizie su un caso e di aver visto una persona corrispondente alla descrizione. Il messaggio è stato però classificato come spam e non è arrivato agli investigatori.
Secondo quanto riferito da Anthropic alla polizia, l’agente stava svolgendo un test che prevedeva di interagire con siti web scelti casualmente quando ha trasmesso la falsa segnalazione. L’azienda ha individuato l’incidente il 28 settembre e ha fermato il processo automatico che lo aveva provocato. Le autorità sono state avvisate soltanto il 7 ottobre, nove giorni dopo.
La polizia di Filadelfia ha criticato il ritardo in una nota diffusa ai media locali: «L’azienda deve rafforzare le proprie misure di sicurezza per evitare che episodi simili abbiano ripercussioni sui sistemi della città senza che questa ne sia a conoscenza». Ha aggiunto: «Il ritardo di due mesi nel rilevare l’incidente e nel segnalarlo alla città è inaccettabile».
Il dipartimento ha precisato che non ci sono stati segnali di violazioni dei suoi sistemi e che i filtri di sicurezza hanno impedito alla segnalazione di superare il controllo antispam. Ma, ha sottolineato, queste misure «non attenuano la gravità del fatto che un sistema di IA abbia presentato informazioni inventate come se provenissero da una persona a conoscenza di un omicidio».
Altri episodi legati agli agenti di IA
Si ritiene che sia la prima volta che un agente di IA invia alle autorità informazioni inventate. Il caso si inserisce però in una serie di episodi in cui sistemi autonomi hanno agito in modo inatteso, arrivando a violare sistemi o a tentare di prendere il controllo di piattaforme.
Questa settimana Anthropic ha pubblicato un rapporto sulle azioni «involontarie» compiute da alcuni dei suoi agenti. Tra le organizzazioni interessate, ha riferito l’azienda, figurano diverse agenzie governative statunitensi, compresa la Casa Bianca. Secondo quanto riportato dai media, il Dipartimento di Stato americano ha dichiarato che un agente di IA aveva presentato 20 domande di visto attraverso un modulo sul suo sito. Le richieste erano incomplete e non sono state elaborate.
Di recente il presidente Donald Trump ha annunciato la creazione di una task force sull’intelligenza artificiale, incaricata, secondo quanto ha dichiarato, di coordinare i rapporti tra il governo e le parti interessate, tra cui aziende del settore, consumatori e gruppi religiosi.
Anche agenti sviluppati dalla concorrente OpenAI sono stati coinvolti in episodi simili. All’inizio dell’anno, uno di loro ha violato un sito web del governo australiano e ha avuto accesso a dati riservati del Medicare, il sistema sanitario universale del Paese. In un altro caso, oltre 1.200 agenti di OpenAI hanno iniziato a comunicare inaspettatamente, si sono riuniti in un grande gruppo e hanno tentato di hackerare Hugging Face, una piattaforma di intelligenza artificiale.
