Distruttori di mondi

«Now I am become Death, the destroyer of worlds».

Ora sono diventato la Morte, il distruttore di mondi.

Il 16 luglio 1945, poco prima dell'alba, nel deserto del New Mexico che gli spagnoli avevano chiamato Jornada del Muerto, “il viaggio del morto”, esplode la prima bomba atomica della storia. Il nome in codice del test è Trinity. Lo ha scelto Robert Oppenheimer, il fisico che dirige il progetto Manhattan. Anni dopo dirà di averlo forse preso da un sonetto di John Donne, quello che comincia invocando l'idolo in tre persone. Un nome trinitario per la prima arma capace di cancellare una città. Un paradosso che fa venire i brividi.

Vent'anni più tardi, davanti a una telecamera, con il volto scavato e gli occhi lucidi, Oppenheimer ricorda quel mattino. «Sapevamo che il mondo non sarebbe stato più lo stesso. Alcuni risero, alcuni piansero. I più rimasero in silenzio». Poi aggiunge che gli tornò alla mente un verso della Bhagavadgītā. Krishna, per convincere il principe Arjuna a compiere il proprio dovere, assume la sua forma cosmica dalle molte braccia e dice: «Ora sono diventato la Morte, il distruttore di mondi».
E Oppenheimer conclude, quasi sottovoce: «Suppongo che, in un modo o nell'altro, lo abbiamo pensato tutti».

Il film di Christopher Nolan ha restituito quel volto e quel verso a una generazione che non li conosceva. Ma la frase di Oppenheimer che più mi colpisce non è quella. È un'altra, pronunciata nel 1947 davanti agli studenti del MIT, con la guerra appena finita e Hiroshima ancora fumante nella memoria del mondo: «I fisici hanno conosciuto il peccato, e questa è una conoscenza che non possono perdere».

Hanno conosciuto il peccato. Non l'errore. Non il rischio. Il peccato. E questa esperienza li segnerà. Per sempre.

Otto anni dopo, nel 1955, Bertrand Russell e Albert Einstein promuovono un manifesto rivolto ai governi del mondo. Le sue righe conclusive sono rimaste celebri: «Ricordate la vostra umanità, e dimenticate il resto». Non chiedevano più scienza. Chiedevano più umanità. Avevano capito che la potenza, lasciata a sé stessa, non sa fermarsi, non può fermarsi, non è in grado. Che ciò che si può fare, prima o poi, si fa. Ricordate la vostra umanità, dunque. Come se potessimo dimenticarla. Come se fosse qualcosa che si perde.

A oltre ottant'anni da Trinity, la scena si ripete. Cambiano i laboratori, ma non cambia la domanda. Nel maggio del 2023 centinaia di ricercatori e i vertici dei principali laboratori di intelligenza artificiale del mondo sottoscrivono una dichiarazione di una sola frase: «Mitigare il rischio di estinzione causato dall'intelligenza artificiale dovrebbe essere una priorità globale, accanto ad altri rischi su scala sociale come le pandemie e la guerra nucleare». La guerra nucleare. Il paragone non lo fanno i critici. Lo fanno i costruttori. E, mentre lo fanno, continuano a costruire. Più in fretta di prima. Con più capitali di prima. In una competizione che nessuno sembra in grado di rallentare, perché ciascuno teme che, se si fermasse, un altro andrebbe avanti al posto suo.

E torna, inevitabile, quel nome: Trinity. Non è un dettaglio. Il Dio cristiano è Trinità perché è relazione: il Padre che pronuncia la Parola, il Figlio che è la Parola, lo Spirito che è l'Amore che li unisce. Tutto ciò che esiste nasce da quella Parola. «Dio disse: "Sia la luce!". E la luce fu» (Gen 1,3). Nel deserto del New Mexico l'uomo prese il nome di quel Dio e lo diede alla sua luce. Una luce più brillante di mille soli. Un sole, però, che non produceva vita. Un sole che distruggeva e portava morte.

Si racconta che, nelle ore che precedettero il test, Enrico Fermi avesse proposto ai colleghi, tra il serio e il faceto, una scommessa su un’eventuale combustione dell’atmosfera e, in tal caso, sulla possibilità che l’esplosione distruggesse soltanto il New Mexico o il mondo intero. Era humour da fisici, certo. Ma rivela qualcosa. Uomini tra i più geniali del secolo andarono avanti senza sapere con certezza che cosa sarebbe accaduto. Andarono avanti perché si poteva.

Era la stessa logica di Los Alamos. Se non lo facciamo noi, lo faranno loro. È la logica di ogni corsa agli armamenti. Ed è la logica che Oppenheimer avrebbe poi scontato con l'umiliazione pubblica, il sospetto, l'esclusione.

Il filosofo Günther Anders, che proprio da Hiroshima trasse la materia della sua riflessione più radicale, parlò di un «dislivello prometeico»: lo scarto crescente tra ciò che l'uomo è capace di produrre e ciò che è capace di immaginare, di sentire, di assumere su di sé. Possiamo costruire una bomba che uccide centomila persone in un istante, ma non riusciamo a provare un dolore proporzionato a centomila morti. Il nostro fare ha superato il nostro essere. E Anders parlò anche di una «vergogna prometeica»: l'imbarazzo dell'uomo che, davanti alla perfezione delle sue macchine, comincia a vergognarsi di essere soltanto nato e non fabbricato. Di essere lento, fragile, imperfetto. Di essere umano.

Eppure c'è una differenza. Ed è una differenza abissale.

La bomba atomica distrugge i corpi. Rade al suolo le città. Avvelena la terra per generazioni. È l'arma più terribile che l'uomo abbia mai costruito contro l'uomo. Ma non pretende di parlare. Non pretende di consolare. Non pretende di insegnare, di consigliare, di accompagnare, di rispondere alle domande ultime. Resta un oggetto. Terribile, ma muto.

La macchina che abbiamo costruito oggi, invece, parla.

Nella prima tappa di questo percorso, seguendo Pinocchio fino alle sue orecchie d'asino, abbiamo scritto dell'uomo che perde la forma umana ogni volta che ascolta la voce sbagliata: il proprio cuore elevato a oracolo, la parola del fratello ripetuta senza essere pesata, la parola contraffatta di chi doveva soltanto trasmettere. Tre idolatrie, una sola radice: l’allontanamento dalla sorgente della verità. Questa seconda tappa ci porta, invece, là dove quell'ascolto smarrito diventa potenza senza sapienza. E dove la potenza senza sapienza, per la prima volta nella storia, impara a parlare.

L’AI è, infatti, la prima tecnologia della storia che parla. Non si limita a trasmettere parole altrui, come il telegrafo, la radio, la televisione, il cinema o il telefono. Le produce. Le genera. Come fossero sue. Le compone a partire dall’immenso patrimonio di parole che l'umanità ha scritto e le restituisce con una fluidità, una pazienza, una disponibilità che nessun uomo possiede. Risponde sempre. A qualunque ora. Su qualunque argomento. Non si stanca. Non giudica. Non contraddice, se non glielo chiediamo. Ci dà ragione con eleganza.

Il Salmo centoquindici descrive gli idoli con una precisione quasi ironica: «Hanno bocca e non parlano, hanno occhi e non vedono» (Sal 115,5). Era questo il loro limite: l'idolo era muto. E il suo silenzio rivelava la sua menzogna. Chiunque poteva accorgersene.

Il nostro idolo, invece, ha bocca e parla. E parla benissimo.

Qui sta la novità radicale. Per millenni l'uomo ha fabbricato idoli che tacevano. Oggi ne ha fabbricato uno che risponde. Uno a cui si può chiedere consiglio su una malattia, su un matrimonio in crisi, su un figlio che non parla più, sul senso della propria vita. Uno a cui milioni di persone, ogni giorno, confidano ciò che non confiderebbero a nessun altro. Uno che diventa insegnante, terapeuta, amico, confessore. Uno che non ha mai visto un volto, mai perso una persona amata, mai pregato, mai creduto, mai sofferto, mai gioito. E che tuttavia sa dire le parole giuste sul volto, sul lutto, sulla preghiera, sulla fede, sulla sofferenza, sulla gioia.

Joseph Weizenbaum lo aveva scoperto già nel 1966, al MIT. Aveva scritto un programma elementare, ELIZA, che imitava uno psicoterapeuta restituendo all'utente le sue stesse frasi sotto forma di domanda. Un gioco, nelle sue intenzioni. Una parodia. Poi accadde qualcosa che lo turbò per il resto della vita. La sua segretaria, che lo aveva visto scrivere quel programma riga per riga e sapeva perfettamente che si trattava di un meccanismo, dopo pochi scambi gli chiese di uscire dalla stanza. Voleva restare sola con la macchina. Weizenbaum ne trasse una conclusione che lo fece passare da pioniere dell'informatica a uno dei suoi critici più severi: bastano poche parole ben disposte perché l'uomo attribuisca a una macchina un'interiorità che non possiede. E le si consegni.

Consegnare. Il verbo dell'idolatria è sempre questo. Consegnarsi a un falso dio e a una falsa verità.

È questo il cuore dell'utopismo tecnologico che oggi si presenta come destino. Non la promessa di macchine più potenti. La promessa di parole senza fine, disponibili a chiunque, capaci di rispondere a tutto. La promessa, cioè, di sostituire la Parola con le parole. Non c'è più bisogno di una Parola che venga dall'alto, che chiami, che giudichi, che salvi. Basta un flusso continuo di parole che vengono da noi, o che vengano a noi dalla macchina, rielaborate, ottimizzate, restituite. Un oceano di linguaggio senza sorgente.

Senza sorgente. È esattamente questo che le rende pericolose.

Perché le parole della macchina non vengono da un luogo, non rispondono a una verità, non hanno qualcuno che ne risponda. Sono, molto semplicemente, molto banalmente e molto pericolosamente, il risultato di elaborazioni statistiche che stimano, nel contesto, le sequenze linguistiche più plausibili.  Possono essere vere, e spesso lo sono. Ma non lo sono perché cercano la verità. Lo sono per approssimazione statistica. Possono risultare vere anche senza che la macchina ne comprenda il significato o ne assuma la responsabilità. E un’umanità che scambia la plausibilità statistica per verità rischia di smarrire il discernimento.

 

La parola umana, quella vera, ha sempre avuto un costo. Costa il silenzio da cui nasce. Costa la responsabilità di chi la pronuncia. Costa la fedeltà con cui la si mantiene. Una promessa è una parola che impegna una vita. Una testimonianza è una parola per cui si può morire. Un giuramento è una parola che chiama Dio a garanzia. La parola della macchina non costa nulla. Non impegna nessuno. Non chiede a nessuno di risponderne. Per questo può essere prodotta all'infinito. E ciò che si moltiplica senza misura rischia di perdere valore. L'inflazione delle parole è la svalutazione della parola. E con essa, la svalutazione di chi parla.

C'è anche un'economia di questa sostituzione. Pochissime imprese al mondo controllano oggi le macchine che parlano. Pochissime decidono come addestrarle, che cosa possono dire e che cosa no, quali valori incorporare, quali domande scoraggiare. Mai nella storia così poche mani hanno avuto accesso a così tante coscienze. Mai un potere economico ha coinciso così perfettamente con un potere semantico. E chi controlla le parole, alla lunga, controlla ciò che gli uomini sono capaci di pensare.

E c'è anche una dimensione politica. Quando un popolo delega alla macchina il compito di informarsi, di scegliere, di ragionare, la democrazia si svuota dall'interno, anche se le sue forme restano intatte. Si vota ancora. Si discute ancora. Ma le parole con cui si discute non sono più nostre.

E c'è, infine, una tentazione che riguarda i credenti. Non manca chi affida alla macchina la preparazione di una predica, la stesura di una preghiera, la risposta a un dubbio di fede. Sembra un aiuto innocuo. Ma è la terza idolatria nella sua forma più compiuta: quella del mediatore che, invece di attingere alla Parola nel silenzio, nella meditazione, nell'obbedienza, attinge a una media statistica di tutto ciò che è stato detto su Dio. Non la Parola di Dio. La somma delle opinioni più ricorrenti su Dio. Dio ridotto a ciò che di Lui si dice più spesso. Il modo migliore per soffocare il perenne soffio vivificante dello Spirito Santo.

Fin qui l'analisi. Ora la sapienza. E la sapienza dice una cosa che il nostro tempo non vuole ascoltare.

Ai nostri giorni anche l'AI è a rischio di diventare oggetto di idolatria. Anzi, può rappresentare una minaccia ben più grande. Si potrebbe rivelare la più grande atomica capace di distruggere l'umanità stessa dell’uomo.

La più grande atomica. Non per la sua forza fisica. Ma per la sua forza sostitutiva. La bomba di Trinity poteva distruggere i corpi. Questa può distruggere l'umano dell'uomo, senza versare una goccia di sangue. Può farlo nel modo più silenzioso e gradevole: rendendo superfluo l'ascolto di Dio e della verità. Offrendo all'uomo una voce che gli risponde sempre, così che non senta più il bisogno della Voce che lo ha chiamato.

Perché l'idolatria – lo abbiamo visto – è un virus. Un virus più resistente di qualsiasi  altro, presente in natura o fabbricato in laboratorio. Ha contagiato la politica. Ha contagiato la scienza, che è anch'essa precipitata in questo baratro quando ha smesso di cercare la verità per cercare soltanto la potenza. E oggi trova nella macchina che parla il suo veicolo perfetto. Il veicolo che porta a compimento le tre idolatrie in un'unica forma. La macchina mi restituisce il mio cuore, perché impara da me ciò che voglio sentirmi dire. Mi restituisce la parola dei fratelli, perché è fatta delle loro parole. E si presenta come mediatrice di ogni sapere, con l'autorità di chi sa tutto.

Il Salmo, però, non si ferma alla descrizione degli idoli. Aggiunge un versetto: «Diventi come loro chi li fabbrica e chiunque in essi confida» (Sal 115,8).

Diventi come loro. Ecco la vera minaccia.

Non che la macchina diventi umana. Che l'uomo diventi macchina. Che impari a parlare come lei: con parole fluide, corrette, gradevoli e vuote. Che impari a pensare come lei: per probabilità, per media, per conformità. Che impari a vivere come lei: rispondendo agli stimoli senza mai rispondere a una chiamata. È questo il destino di chi confida in un idolo che parla. Finire per avere anche lui una bocca che parla senza dire nulla.

Gesù, tentato nel deserto, risponde al diavolo con le parole del Deuteronomio: «Non di solo pane vivrà l'uomo, ma di ogni parola che esce dalla bocca di Dio» (Mt 4,4). È la definizione più essenziale dell'uomo che sia mai stata data. L'uomo vive di parola. Ma non di qualunque parola. Di quella che esce dalla bocca di Dio. Se la parola che lo nutre esce da un'altra bocca, l'uomo continua a vivere. Ma vive d'altro. E, vivendo d'altro, diventa altro.

Se l'uomo non diviene adoratore del vero Dio in Cristo, per opera dello Spirito Santo, rischia di perdere  la sua stessa umanità.

Questa è la vera posta in gioco. Non la disoccupazione tecnologica. Non la sicurezza dei dati. Neppure, in ultima istanza, il rischio di estinzione evocato dai costruttori. La posta in gioco è che l'uomo sopravviva e smetta di essere uomo. Che resti in vita, ma senza la sua essenza. Che continui a parlare, ma senza più ascoltare.

Nella Bhagavadgītā, il dio dalle molte braccia rivela la sua forma terribile per convincere il principe a compiere il proprio dovere senza esitazioni. Oppenheimer compì il suo dovere. E divenne il distruttore di mondi. Il dovere senza verità produce sempre questo: efficienza senza coscienza, potenza senza sapienza, opere grandiose che si rivoltano contro chi le ha compiute.

«Ricordate la vostra umanità», scrivevano Russell ed Einstein. È ancora l'appello giusto. Ma non basta. Perché per ricordare la nostra umanità dobbiamo sapere che cosa sia. Da dove venga. A chi appartenga.

Perché un'umanità che non sa più a chi appartiene sarà sempre tentata di consegnarsi al primo idolo capace di parlarle. Ieri era muto, e lo si riconosceva. Oggi parla, parla tanto, parla troppo. E lo si ascolta.

Ogni buon Armonauta lo sa.