Un sacchetto di Doritos scambiato per una pistola…quando ci fidiamo troppo dell’intelligenza artificiale
Una vicenda che mostra i rischi dell'automation bias, la tendenza a fidarsi delle macchine anche quando sbagliano, e pone una domanda: quanto siamo ancora capaci di esercitare il nostro giudizio?

Il fatto, un allenamento finisce in manette
È la sera del 20 ottobre 2025 e alla Kenwood High School, nella contea di Baltimora, alla fine dell’allenamento di football, l’allenatore distribuisce ai ragazzi alcuni sacchetti di Doritos, un famoso marchio di tortilla chips (patatine a base di farina di mais) dalla caratteristica forma triangolare, croccanti e ricoperte da condimenti saporiti. Taki Allen, studente del terzo anno, ne prende uno e si ferma con gli amici vicino ai tavoli da picnic, dove aspetta che qualcuno venga a prenderlo, ma poco dopo arrivano sei auto della polizia, dalle quali scendono agenti con le armi in pugno che ordinano ai ragazzi di alzare le mani e di inginocchiarsi, poi li ammanettano e li perquisiscono. A far scattare l’intervento è stato Omnilert, un software che controlla le immagini delle telecamere scolastiche alla ricerca di possibili armi…in questo caso, ha scambiato un sacchetto di Doritos per una pistola, indicando una probabilità del 90% della correttezza della propria segnalazione.
Circa un anno dopo, quattro tra studenti ed ex studenti hanno fatto causa a Omnilert, alla polizia della contea, al consiglio scolastico, ad alcuni agenti e alla preside. Gli atti giudiziari permettono di ricostruire quanto accaduto quella sera, quasi minuto per minuto: tra le 19.05 e le 19.06, gli addetti incaricati di controllare l’allarme, tra cui un sergente di polizia, avevano già esaminato l’immagine, riconosciuto l’errore e annullato la segnalazione, avvisando tutti i destinatari. Secondo l’accusa, la preside ha letto sia l’allarme sia il messaggio che lo smentiva, ma aveva comunque ingrandito il video e ha fatto uno screenshot dello studente afroamericano Taki Allen. Alle 19.19 ha inviato l’immagine all’agente in servizio nella scuola, chiedendo l’intervento della polizia, e due minuti dopo le pattuglie sono arrivate.
Automation bias, perché ci fidiamo troppo
dell'intelligenza artificiale
Il controllo umano, dunque, c’era stato e aveva pure funzionato bene, perché qualcuno aveva esaminato le immagini, riconosciuto il sacchetto e fermato l’allarme. Eppure, alla fine, un’altra persona ha preferito fidarsi del software anziché di chi aveva già verificato l’errore: gli studiosi chiamano questo comportamento automation bias, o pregiudizio dell’automazione, e lo descrivono come la tendenza a considerare affidabili le indicazioni di una macchina anche quando abbiamo buoni motivi per dubitarne. E nel caso di Omnilert i buoni motivi sono più che fondati, perché secondo l’ispettorato per l’istruzione del Maryland, citato nella denuncia, oltre il 99% degli allarmi generati dal software nelle scuole della contea era falso e non richiedeva l’intervento della polizia. È un problema frequente nei sistemi che cercano di individuare eventi molto rari, perché un programma che commette relativamente pochi errori può produrre molti più falsi allarmi che segnalazioni corrette. Per questo ogni allarme dovrebbe servire soprattutto a far scattare una verifica, senza essere considerato una prova della presenza di un’arma.
«Human», la parola dell'anno 2026 nell'era
dell'intelligenza artificiale
Nella stessa settimana in cui la causa è finita sui giornali, il Cambridge Dictionary ha annunciato la parola dell’anno 2026: «human», umano, definita attraverso le qualità e i difetti che distinguono le persone, tra l’altro, dalle macchine. Secondo il lessicografo Colin McIntosh, l’intelligenza artificiale sta cambiando anche il nostro modo di parlare di ciò che è umano, come dimostra la diffusione di espressioni quali «human-made», usate per distinguere ciò che viene realizzato dalle persone da ciò che producono i computer. L’anno precedente la scelta era caduta su «parasocial», una parola che descrive i rapporti a senso unico, compresi quelli che possono nascere con i chatbot.
Intelligenza e coscienza, il dibattito tra Richard
Dawkins e Anil Seth
Qualche mese prima, in primavera, il biologo Richard Dawkins aveva raccontato di aver trascorso circa tre giorni a conversare con Claude, il chatbot di Anthropic, che aveva perfino ribattezzato Claudia. Alla fine di quelle conversazioni, aveva detto, gli era rimasta la fortissima impressione di aver parlato con un essere umano, suscitando la reazione del neuroscienziato Anil Seth, secondo il quale Dawkins sembrava confondere due cose diverse: intelligenza e coscienza.
La storia di Dawkins e quella della scuola di Baltimora mostrano due modi diversi di cadere nello stesso equivoco: Dawkins vede nel chatbot un’umanità che non gli appartiene, mentre la preside attribuisce al software una capacità di giudizio superiore a quella delle persone che ne hanno già riconosciuto l’errore. In entrambi i casi, a fare la differenza è il comportamento di chi si trova davanti allo schermo. Tra le richieste della causa c’è la sospensione del sistema finché la scuola e la polizia non avranno stabilito regole ben precise per controllare gli allarmi, annullarli, comunicarne l’esito e preparare il personale a gestirli. Intanto Taki Allen ha raccontato di non sentirsi più al sicuro quando aspetta un passaggio o rimane a scuola dopo le lezioni, tanto che spesso, per tornare a casa, preferisce pagare una corsa in auto.
Si discute molto di come insegnare ai ragazzi a usare l’intelligenza artificiale, ma a Baltimora il problema è nato dal comportamento degli adulti, perché la verifica umana dell’allarme aveva funzionato, ma c’è chi ha preferito fidarsi delle macchine piuttosto che degli esseri umani.
© RIPRODUZIONE RISERVATA
Seguici anche su Google Discover di Avvenire





