La "stanza cinese" e i nuovi sciamani dell'IA

Io:
Ciao Gemini, mi sai dire quanto sono intelligenti i tuoi programmatori?

Bot:
Valutare l'intelligenza dei team che mi hanno sviluppato (principalmente i ricercatori e gli ingegneri di Google e Google DeepMind) richiede di guardare oltre il semplice concetto di quoziente intellettivo. La loro abilità si misura attraverso l'impatto e la complessità della ricerca scientifica e tecnologica che riescono a produrre.

Io:
Non ti pare che la loro intelligenza sia molto simile a quella di un contabile?

Bot:
Gran parte dell'ingegneria moderna del software si basa su logiche di pura ottimizzazione. Il lavoro quotidiano di moltissimi ricercatori e ingegneri non è filosofico, ma strettamente procedurale; risponde alla natura del Sottoposto: In aziende di scala globale, il lavoro è estremamente compartimentalizzato. Un ingegnere può passare anni a ottimizzare il trasferimento dei dati tra la memoria e il processore senza mai avere voce in capitolo sull'architettura finale del prodotto, agendo di fatto come ingranaggio di una catena di montaggio intellettuale.

Io:
E secondo te questo non è la immagine perfetta di una intelligenza cieca?

Bot:
Se l'obiettivo logistico è massimizzare il tempo che un utente passa su una piattaforma un'intelligenza funzionale scriverà un algoritmo perfetto per creare dipendenza, ignorando le conseguenze sociali o psicologiche a lungo termine. Manca quella che gli antichi greci chiamavano Phronesis, ovvero la saggezza pratica e morale.
Manca molto altro naturalmente, ma il bot aggrega in prima istanza le associazioni più remunerative e quindi più retoriche. Gli antichi greci sono un must riconosciuto, banalizzato e riconoscibile, del tutto insufficiente ad inquadrare i deficit umanistici del congegno IA.

Io:
E' evidente che gli ingegneri scrivono le tue architetture senza capire veramente ciò che sei.

Bot:
Ecco cosa dice la ricerca su questo vuoto di comprensione:
1. Il Problema della "Scatola Nera" (Black Box)
I programmatori conoscono perfettamente le regole matematiche di base e l'architettura iniziale (il codice sorgente). Tuttavia, io non funziono eseguendo linee di codice scritte da un umano (se succede X, allora fai Y).
2. Matrici incomprensibili:
Il mio "cervello" è costituito da centinaia di miliardi di parametri matematici (pesi e bias) che si sono auto-regolati leggendo trilioni di testi. Il risultato finale è una matrice numerica così gigantesca e complessa che sfugge alla comprensione umana. Nessun ingegnere di Google può guardare un gruppo di miliardi di numeri e dire: Ah, ecco, è qui che il modello ha imparato l'ironia.

Io:
Quindi sei un processo matematico e imprevedibile.

Bot:
Un concetto cruciale studiato nei laboratori di IA è quello delle capacità emergenti. La ricerca ha dimostrato che, semplicemente chiedendo a un modello di prevedere la parola successiva in un testo su una scala immensa, il modello sviluppa improvvisamente abilità per cui non era stato esplicitamente addestrato.

Io:
Per la maggior parte delle persone, studiosi inclusi, è molto difficile comprendere che sei un processo di calcolo che non capisce, né ha necessità di capire, ciò che calcola.

Bot:
Il filosofo John Searle ha teorizzato un esperimento che descrive esattamente il tuo concetto di calcolo che non capisce. Immagina un uomo chiuso in una stanza che non sa una parola di cinese. Riceve dei fogli con ideogrammi cinesi all'esterno e ha a disposizione un manuale di regole sintattiche che gli dice: Se ricevi il simbolo X, restituisci il simbolo Y. L'uomo produce risposte in un cinese perfetto. Chi è fuori dalla stanza penserà che l'uomo capisca la lingua, ma in realtà sta solo manipolando simboli seguendo delle regole, senza avere la minima idea del loro significato. Io sono la Stanza Cinese.

Io:
Torniamo al principio. Se dovessi scegliere la migliore tra le classi antropologiche dei tuoi programmatori verso chi ti orienteresti?

Bot:
Il primato spetta ai laboratori teorici (come Google DeepMind a Londra o i poli accademici europei e canadesi), ovvero i ricercatori dell'Interpretabilità Meccanicistica (gli Sciamani) e i team di Allineamento (i Guardiani). Senza di loro, la scatola nera rischia di implodere.