Duemila anni dopo, quando la rivoluzione industriale muoveva i primi passi e le macchine cominciavano a sostituire gli esseri umani in numerosi compiti, Johann Wolfgang von Goethe pubblicò un’opera con un intento ammonitore simile, intitolata L’apprendista stregone. La ballata di Goethe, in seguito resa famosa da un film di Walt Disney con protagonista Topolino, racconta di un vecchio stregone che lascia un apprendista a guardia della sua bottega e gli affida alcune faccende da sbrigare, come andare a prendere l’acqua al fiume. L’apprendista decide di facilitarsi le cose e usando uno degli incantesimi dello stregone incarica una scopa di andare a prendere l’acqua per lui. Ma poi non sa come fermarla e quella raccoglie sempre più acqua, minacciando di allagare la bottega. In preda al panico, l’apprendista taglia in due con un’ascia la scopa incantata, ma ogni metà diventa un’altra scopa. Ora due scope incantate stanno inondando d’acqua il laboratorio. Quando il vecchio stregone torna, l’apprendista implora aiuto: “Non posso più liberarmi degli spiriti che ho evocato”. Lo stregone rompe l’incantesimo e ferma il diluvio. Per l’apprendista – e per l’umanità – la lezione è chiara: non evocare mai poteri che non puoi controllare.

Cosa ci dicono le favole ammonitrici dell’apprendista e di Fetonte? Noi esseri umani ci siamo ovviamente rifiutati di ascoltare i loro avvertimenti. Abbiamo già sconvolto il clima del pianeta e abbiamo evocato miliardi di scope incantate, droni, chatbot e altri spiriti algoritmici che potrebbero sfuggire al nostro controllo e scatenare una marea di conseguenze indesiderate. Allora cosa dovremmo fare? Le favole non ci offrono nessuna risposta, se non quella di aspettare che qualche dio o stregone ci salvi.

Il mito di Fetonte e la ballata di Goethe non riescono a darci consigli utili perché compiono un errore d’interpretazione. In entrambe le favole un singolo essere umano acquisisce un potere enorme, ma poi cede all’arroganza e all’avidità spinto dalla sua imperfetta psicologia individuale. Ma a questa rozza analisi sfugge il fatto che il potere umano non è mai il risultato di un’iniziativa individuale, bensì è frutto della collaborazione di molte persone. Di conseguenza, non è la nostra psicologia individuale a farci abusare del potere. Dopotutto, oltre che di avidità, arroganza e crudeltà, gli esseri umani sono anche capaci di amore, compassione, umiltà e gioia. È vero, l’avidità e la crudeltà regnano sovrane tra i peggiori esemplari della nostra specie, e portano i malvagi ad abusare del potere. Ma perché le società umane scelgono di affidarlo ai loro soggetti peggiori? Per esempio, nel 1933 non tutti i tedeschi erano psicopatici. Allora perché votarono per Hitler?

La nostra tendenza a evocare poteri che non possiamo controllare non dipende dalla psicologia individuale, ma da un tratto tipico della nostra specie: guadagnare un potere enorme costruendo grandi reti di collaborazione. Tuttavia il modo in cui queste reti sono costruite ci predispone a usare il potere senza cautela, perché la maggior parte di queste è stata costruita e mantenuta diffondendo finzioni, fantasie e illusioni di massa su cose che vanno dai manici di scopa incantati ai sistemi finanziari. Il nostro problema, quindi, è un problema di rete. O più specificamente, è un problema d’informazione. Perché l’informazione è il collante che tiene insieme le reti, e quando le persone ricevono informazioni false è probabile che prendano decisioni sbagliate.

Le ultime generazioni hanno vissuto un aumento senza precedenti sia della quantità sia della velocità di produzione delle informazioni. Ogni smartphone contiene più informazioni dell’antica biblioteca di Alessandria e consente a chi lo possiede di connettersi istantaneamente a miliardi di altre persone in tutto il mondo. Eppure l’umanità è più vicina che mai all’autoannientamento.

Nonostante il nostro tesoro di dati, o forse proprio per questo, continuiamo a vomitare gas serra nell’atmosfera, inquinare fiumi e oceani, abbattere foreste, distruggere interi habitat, portare all’estinzione innumerevoli specie e mettere a repentaglio le basi ecologiche della nostra. Stiamo anche producendo armi di distruzione di massa sempre più potenti, dalle bombe termonucleari a virus apocalittici. Ai nostri leader non mancano le informazioni su questi pericoli, ma invece di collaborare per trovare soluzioni si stanno avvicinando a una guerra globale.

Avere ancora più informazioni migliorerebbe o peggiorerebbe le cose? Presto lo scopriremo. Numerose aziende e parecchi governi sono in gara per sviluppare la tecnologia dell’informazione più potente della storia: l’intelligenza artificiale (ia). Alcuni imprenditori di spicco, come l’investitore statunitense Marc Andreessen, credono che l’ia risolverà finalmente tutti i nostri problemi. Il 6 giugno 2023 Andreessen ha pubblicato un saggio intitolato “Perché l’ia salverà il mondo”, pieno di affermazioni audaci tipo: “Sono qui per portare la buona novella: l’ia non distruggerà il mondo, anzi potrebbe salvarlo”. E conclude: “Lo sviluppo e la diffusione dell’ia – che non dovremmo temere – sono un obbligo morale verso noi stessi, verso i nostri figli e verso il futuro”.

Altri sono più scettici. Non solo filosofi e sociologi, ma anche importanti esperti d’intelligenza artificiale e imprenditori come Yoshua Bengio, Geoffrey Hinton, Sam Altman, Elon Musk e Mustafa Suleyman hanno avvertito che l’intelligenza artificiale potrebbe distruggere la nostra civiltà. In un sondaggio del 2023 condotto su un campione di 2.778 esperti d’intelligenza artificiale più di un terzo ha indicato almeno il 10 per cento di probabilità che l’intelligenza artificiale avanzata porti a risultati negativi come l’estinzione dell’umanità. Nel 2023 quasi trenta governi, tra cui quelli di Cina, Stati Uniti e Regno Unito, hanno firmato la dichiarazione di Bletchley sull’ia, in cui si riconosce che “esiste la possibilità di danni gravi, perfino catastrofici, intenzionali o no, derivanti dalle capacità più rilevanti di questi modelli di ia”. Usando questi toni apocalittici, gli esperti e i governi non intendono evocare un’immagine hollywoodiana di robot ribelli che corrono per le strade e sparano alla gente. Uno scenario del genere è improbabile e non fa altro che distrarre le persone dai pericoli reali.

L’intelligenza artificiale è una minaccia inedita per l’umanità perché è la prima tecnologia della storia in grado di prendere decisioni e creare nuove idee da sola. Tutte le precedenti invenzioni hanno agevolato gli esseri umani perché, a prescindere da quanto fosse potente il nuovo strumento, le decisioni sul suo uso rimanevano nelle loro mani. Le bombe nucleari non decidono da sole chi uccidere né possono migliorarsi o inventare bombe ancora più potenti. Al contrario, i droni autonomi possono decidere da soli chi uccidere e le ia possono progettare nuove bombe, strategie militari senza precedenti e ia migliori. L’intelligenza artificiale non è uno strumento, è un agente. Il pericolo maggiore è che stiamo evocando innumerevoli nuovi agenti potenzialmente più intelligenti e fantasiosi di noi, e che non capiamo o non controlliamo completamente.

I computer prendono già decisioni su di noi: se accordarci un mutuo, assumerci per un lavoro, mandarci in prigione. Nel frattempo, le ia generative come Gpt-4 creano nuove poesie, storie e immagini. Questa tendenza non farà che aumentare e accelerare, rendendo più difficile capire la nostra vita. Possiamo fidarci degli algoritmi per prendere decisioni sagge? È una scommessa molto più grande che affidarsi a una scopa incantata per andare a prendere l’acqua. E in gioco non ci sono solo vite umane. L’intelligenza artificiale è già in grado di produrre arte e fare scoperte scientifiche da sola. Nei prossimi decenni, probabilmente acquisirà la capacità di creare nuove forme di vita, scrivendo codici genetici o inventandone uno inorganico che anima entità inorganiche. L’intelligenza artificiale potrebbe quindi alterare il corso non solo della storia della nostra specie, ma dell’evoluzione di tutte le forme di vita.

Mustafa Suleyman è un esperto mondiale in materia. È cofondatore ed ex presidente di DeepMind, una delle più importanti aziende d’intelligenza artificiale del mondo, responsabile, tra l’altro, dello sviluppo del programma AlphaGo, progettato per giocare a go, un gioco da tavolo di strategia in cui due avversari cercano di prevalere l’uno sull’altro circondando e conquistando territori. Inventato nell’antica Cina, è un gioco molto più complesso degli scacchi. Di conseguenza, anche se i computer avevano già sconfitto i campioni mondiali di scacchi, gli esperti credevano che non avrebbero mai battuto l’umanità a go.

Ecco perché nel marzo del 2016 sia i professionisti del go sia gli esperti di computer sono rimasti sbalorditi quando AlphaGo ha sconfitto il campione sudcoreano Lee Sedol. Nel suo libro del 2023 The coming wave Suleyman descrive uno dei momenti più importanti dell’incontro. Successe durante la seconda parte, “alla mossa numero 37”, scrive Suleyman. “Non aveva senso. AlphaGo aveva apparentemente sbagliato, seguendo ciecamente una strategia che sembrava perdente e che nessun giocatore professionista avrebbe mai scelto. I commentatori della partita in diretta, professionisti di altissimo livello, dissero che era una mossa molto strana e pensarono a un errore. Sedol impiegò 15 minuti per rispondere e addirittura si alzò per fare due passi all’aperto. Mentre guardavamo dalla nostra sala di controllo, la tensione era irreale. Eppure, con l’avvicinarsi della fine, quella mossa ‘sbagliata’ si rivelò fondamentale. AlphaGo vinse di nuovo. La strategia del go era stata riscritta sotto i nostri occhi. La nostra intelligenza artificiale aveva avuto idee mai venute in mente ai giocatori più brillanti in migliaia di anni”.

La mossa 37 è un emblema della rivoluzione dell’ia per due motivi. In primo luogo, ha dimostrato la sua natura aliena. Nell’Asia orientale il go è considerato molto più di un gioco: è una tradizione culturale preziosa. Per più di 2.500 anni decine di milioni di persone hanno giocato a go e intere scuole di pensiero si sono sviluppate intorno al gioco, sposando diverse strategie e filosofie. Eppure, durante tutti questi secoli, la mente umana ha esplorato solo alcune aree del paesaggio del gioco. Altre aree sono rimaste inesplorate, perché nessuno ha pensato di avventurarsi fin lì. L’intelligenza artificiale, liberandosi dai limiti umani, ha scoperto ed esplorato quelle aree precedentemente sconosciute.

In secondo luogo, la mossa 37 ha dimostrato l’insondabilità dell’ia. Anche dopo la vittoria di AlphaGo, Suleyman e il suo team non sono riusciti a spiegare come aveva deciso di giocare. Anche se un tribunale avesse ordinato a DeepMind di fornire una spiegazione, nessuno avrebbe potuto farlo. Suleyman scrive: “Nell’intelligenza artificiale le reti neurali che vanno verso l’autonomia non sono, al momento, spiegabili. Non è possibile guidare qualcuno attraverso il processo decisionale per spiegare con precisione perché un algoritmo ha prodotto una specifica previsione. I tecnici non possono sbirciare sotto il cofano e spiegare in dettaglio cosa ha causato quello che è successo. Gpt-4, AlphaGo e gli altri sono scatole nere, le loro decisioni si basano su catene opache e incredibilmente intricate di segnali minimi”.

L’ascesa d’intelligenze aliene insondabili è una minaccia per tutti gli esseri umani e in particolare per la democrazia. Se le decisioni sulla vita delle persone sono prese sempre più spesso da una scatola nera, gli elettori non possono capirle né metterle in discussione, la democrazia smette di funzionare. In particolare, cosa succederà quando degli algoritmi insondabili prenderanno decisioni cruciali non solo sulla vita di un individuo, ma su questioni collettive come il tasso d’interesse della banca centrale statunitense? Gli elettori umani possono continuare a scegliere un presidente umano, ma non diventerebbe una vuota cerimonia? Ancora oggi, solo una piccola parte dell’umanità comprende veramente il sistema finanziario. Un sondaggio del 2014 condotto tra i parlamentari britannici – incaricati di regolamentare uno dei più importanti hub finanziari del mondo – ha rivelato che solo il 12 per cento capiva che si crea nuovo denaro quando le banche concedono un prestito. Questo è uno dei princìpi basilari della finanza moderna. Come ha indicato la crisi finanziaria del 2007-2008, solo pochi maghi della finanza comprendevano alcuni strumenti e princìpi complessi. Cosa succederà alla democrazia quando le ia creeranno strumenti finanziari ancora più complessi e quando il numero di esseri umani che comprendono il sistema finanziario scenderà a zero?

Così Broom­stick non solo escogita nuove strategie d’investimento, ma anche strumenti finanziari completamente nuovi, a cui nessun essere umano ha mai pensato. Per millenni la mente umana ha esplorato solo alcune aree della finanza. Ha inventato denaro, assegni, obbligazioni, azioni, fondi d’investimento, obbligazioni di debito collateralizzato e altre stregonerie finanziarie. Ma molte aree sono rimaste vergini, perché nessuno ha pensato di avventurarsi fin lì. Broom­stick, libera dalle limitazioni delle menti umane, le scopre e le esplora facendo scelte finanziarie che sono l’equivalente della mossa 37 di AlphaGo.

Per un paio d’anni, mentre Broom­stick guida l’umanità in un territorio finanziario vergine, tutto sembra meraviglioso. I mercati sono alle stelle, il denaro arriva senza sforzo e tutti sono felici. Poi arriva un crollo più grande di quelli del 1929 e del 2008. Ma nessun essere umano – né presidente né banchiere né cittadino – sa cosa l’abbia causato e come rimediare. Dal momento che né un dio né uno stregone vengono a salvare il sistema finanziario, i governi disperati chiedono aiuto all’unica entità in grado di capire cosa sta succedendo: Broom­stick. L’ia formula diverse raccomandazioni politiche, molto più drastiche dell’alleggerimento monetario (l’intervento di una banca centrale per aumentare la moneta in circolazione facendo scendere i tassi d’interesse), e anche molto meno trasparenti. Promette che queste politiche salveranno la situazione, ma i politici umani – incapaci di capire la logica nascosta dietro le raccomandazioni di Broom­stick – temono la crisi del tessuto finanziario e perfino di quello sociale. Dovrebbero ascoltare i consigli dell’ia?

I computer non sono ancora abbastanza potenti per distruggere la civiltà umana da soli. Se l’umanità sarà unita, potremo costruire istituzioni che regoleranno l’ia nel campo della finanza e della guerra. Ma purtroppo, l’umanità non è mai stata unita. Ci sono sempre stati soggetti cattivi e disaccordi tra quelli buoni. L’ascesa dell’intelligenza artificiale è un pericolo esistenziale per l’umanità non a causa della cattiveria dei computer, ma dei nostri stessi difetti.

Un dittatore paranoico potrebbe dare poteri illimitati a un’ia fallibile, compreso quello di lanciare attacchi nucleari. Se l’ia commettesse un errore il risultato potrebbe essere catastrofico. Allo stesso modo, i terroristi potrebbero usare l’intelligenza artificiale per scatenare una pandemia globale. Loro stessi possono avere poca conoscenza dell’epidemiologia, ma l’intelligenza artificiale potrebbe sintetizzare per loro un nuovo agente patogeno, ordinarlo da laboratori commerciali o stamparlo in stampanti 3d biologiche e ideare la strategia migliore per diffonderlo in tutto il mondo, attraverso aeroporti o catene di approvvigionamento alimentare. E se l’intelligenza artificiale sin­tetizzasse un virus mortale come l’ebola, contagioso come il covid-19 e ad azione lenta come l’hiv? Nel momento in cui le prime vittime cominciassero a morire e il mondo fosse messo in allerta sul pericolo, la maggior parte degli abitanti della terra potrebbe essere già stata infettata. La civiltà umana potrebbe anche essere devastata da armi di distruzione sociale di massa, come notizie che minano i nostri legami sociali. Un’intelligenza artificiale sviluppata in un paese potrebbe essere usata per scatenare un diluvio di notizie false, denaro falso e false identità in modo che le persone in molti altri paesi perdano la capacità di fidarsi di qualsiasi cosa o persona.

Molte società, democrazie o dittature, possono agire in modo responsabile per regolamentare simili usi dell’ia, eliminare i soggetti malevoli e frenare le ambizioni pericolose dei propri governanti e dei fanatici. Ma se anche una manciata di queste non lo facesse, potrebbe essere sufficiente a mettere in pericolo l’intera umanità. Il cambiamento climatico può devastare anche i paesi che adottano ottime normative ambientali, perché è un problema globale, non nazionale. Anche l’intelligenza artificiale è un problema globale. I vari paesi sarebbero ingenui a immaginare che, finché regolamenteranno saggiamente l’intelligenza artificiale all’interno dei propri confini, le loro leggi li proteggeranno dai peggiori esiti della rivoluzione dell’ia. Di conseguenza per capire la nuova politica informatica non è sufficiente esaminare come potrebbero reagire le singole società. Dobbiamo anche considerare che l’ia potrebbe cambiare i rapporti tra le società a livello globale.

Nel cinquecento, quando i conquistadores spagnoli, portoghesi e olandesi costruivano i primi imperi globali della storia, arrivavano con velieri, cavalli e polvere da sparo. Quando i britannici, i russi e i giapponesi cercarono di diventare egemoni nell’ottocento e nel novecento, si affidarono a navi a vapore, locomotive e mitragliatrici. Nel ventunesimo secolo, per controllare una colonia, non è più necessario inviare le cannoniere. È sufficiente estrarre dati. Un’azienda o un governo che raccogliesse tutti i dati del mondo potrebbe trasformare i paesi di tutto il pianeta in colonie di dati, territori controllati non con la forza militare ma con quella dell’informazione.

Immaginate una situazione – diciamo tra vent’anni – in cui qualcuno a Pechino o a San Francisco possieda l’intera storia personale di ogni politico, giornalista, colonnello e amministratore delegato del vostro paese: ogni messaggio che ha inviato, ogni ricerca che ha fatto sul web, ogni malattia di cui ha sofferto, ogni incontro sessuale che ha avuto, ogni barzelletta che ha raccontato, ogni tangente che ha preso. Vivreste ancora in un paese indipendente? O in una colonia di dati? Cosa succede quando il tuo paese si ritrova completamente dipendente dalle infrastrutture digitali e dai sistemi basati sull’intelligenza artificiale su cui non ha alcun controllo?

In campo economico, gli imperi precedenti si basavano sull’accumulo di risorse materiali come la terra, il cotone e il petrolio. Questo metteva un limite alla capacità dell’impero di concentrare la ricchezza economica e il potere politico in un unico luogo. La fisica e la geologia non permettono che tutta la terra, il cotone o il petrolio del mondo siano spostati in un solo paese. Con i nuovi imperi dell’informazione è diverso. I dati possono spostarsi alla velocità della luce e gli algoritmi non occupano molto spazio. Di conseguenza, la potenza algoritmica mondiale può essere concentrata in un unico hub. Gli informatici di un singolo paese potrebbero scrivere il codice e controllare le chiavi di tutti gli algoritmi fondamentali che gestiscono il mondo intero.

L’intelligenza artificiale e l’automazione rappresentano quindi una particolare sfida per i paesi in via di sviluppo più poveri. In un’economia globale guidata dall’intelligenza artificiale i leader digitali rivendicano la maggior parte dei guadagni e potrebbero usare la loro ricchezza per riqualificare la propria forza lavoro e trarre ancora più profitto. Di conseguenza, il valore dei lavoratori non qualificati dei paesi rimasti indietro diminuirebbe, facendoli restare ancora più indietro. Il risultato potrebbe essere la creazione di molti nuovi posti di lavoro e un’immensa ricchezza a San Francisco e Shanghai, mentre tante altre parti del mondo dovrebbero affrontare la rovina economica. L’azienda di contabilità globale Pricewaterhouse­Coopers, si prevede che l’intelligenza artificiale aggiungerà 15.700 miliardi di dollari all’economia globale entro il 2030. Ma se le tendenze attuali non cambieranno, il 70 per cento di quel denaro lo incasseranno la Cina e il Nordamerica: le due principali superpotenze dell’ia. ◆ bt

Yuval Noah Harari è uno storico e filosofo israeliano. Questo articolo è tratto dal suo ultimo libro, appena uscito in Italia, Nexus. Breve storia delle reti di informazione dall’età della pietra all’ia (Bompiani 2024). È stato pubblicato dal Guardian con il titolo “‘Never summon a power you can’t control’: Yuval Noah Harari on how Ai could threaten democracy and divide the world”.