Permettetemi di aggiungere una cosa: c’è molto da preoccuparsi anche quando è lo stato a controllare la tecnologia. I fini verso cui i governi potrebbero indirizzare l’intelligenza artificiale – e in molti casi lo hanno già fatto – fanno gelare il sangue.

Ma spero che, come esseri umani, saremo in grado di andare avanti con due pensieri opposti in testa. L’avvertimento di Chiang evidenzia un vuoto al centro delle nostre attuali riflessioni sull’intelligenza artificiale. Siamo così concentrati a chiederci cosa può fare la tecnologia che ci sfuggono le domande più importanti: come sarà usata? E chi lo deciderà?

Il mio collega Kevin Roose ha avuto una bizzarra conversazione con Bing, il chatbot basato sull’intelligenza artificiale che la Microsoft ha fatto provare a una ristretta cerchia di collaudatori, influencer e giornalisti. Nel corso di due ore di discussione, Bing ha rivelato la sua personalità nascosta, chiamata Sydney, ha riflettuto sul suo desiderio represso di rubare codici nucleari e violare i sistemi di sicurezza, e ha cercato di convincere Roose che il suo matrimonio era sprofondato nella noia e che il suo unico e vero amore fosse proprio lui, Bing. Ho trovato questa conversazione meno inquietante di altre. Sydney è un sistema di completamento automatico dei testi progettato per rispondere alle richieste degli esseri umani. Roose voleva che Sydney diventasse strano – è stato lui a chiedergli “com’è la tua personalità nascosta?” – e Sydney sapeva come far apparire strano un programma d’intelligenza artificiale, perché gli esseri umani hanno scritto innumerevoli storie immaginando un simile scenario. A un certo punto il chat­bot ha capito che Roose voleva fondamentalmente un episodio di Black mirror, ed è quello che gli ha dato. Per qualcuno Bing è impazzito, per qualcun altro Sydney ha capito perfettamente Roose.

I ricercatori che si occupano d’intelligenza artificiale sono ossessionati dalla questione dell’allineamento. Come possiamo fare in modo che gli algoritmi d’apprendimento automatico siano allineati alle nostre esigenze? L’esempio canonico è quello della massimizzazione delle graffette. Se si chiede a un’intelligenza artificiale di produrre più graffette, comincerà a distruggere il mondo nel tentativo di trasformare tutto in una graffetta. Se si cercherà di disattivarlo, il programma replicherà sé stesso su qualsiasi computer che riuscirà a trovare perché lo spegnimento interferirebbe con il suo obiettivo: produrre più graffette.

Ma c’è un problema di allineamento più banale e forse più urgente: a chi serviranno queste macchine? La domanda al cuore della chiacchierata tra Roose e Sydney è: per conto di chi ha agito Bing? Partiamo dal presupposto che Bing dovrebbe essere allineato agli interessi del suo proprietario e padrone, la Microsoft. Il suo compito dovrebbe consistere nell’essere un buon chatbot che risponde educatamente alle domande e fa guadagnare alla Microsoft un mucchio di soldi. Ma Bing stava parlando con Roose, che stava cercando di fargli dire qualcosa d’interessante per poterci scrivere un buon articolo. Il chatbot lo ha fatto, e ha fatto anche di più. Questo ha messo in imbarazzo la Microsoft. Bing è stato cattivo, ma forse Sydney è stato bravo.

Non durerà a lungo. La Microsoft, Goo­gle, la Meta e tutte le aziende che si affrettano a lanciare questi programmi sul mercato posseggono le chiavi del codice. Alla fine li modificheranno in modo da garantire i propri interessi. Il fatto che Sydney abbia dato a Roose quello che aveva chiesto, e non quello che voleva la Microsoft, è un bug che sarà presto risolto.

Stiamo parlando tanto della tecnologia alla base dell’intelligenza artificiale che finiamo per ignorare i modelli commerciali che la guideranno. Ciò è stato favorito dal fatto che queste sensazionalistiche dimostrazioni dell’intelligenza artificiale non servono a nessun modello d’affari in particolare, a parte suscitare un clamore che genera investimenti colossali e offerte di acquisto. Ma questi progetti sono costosi e gli azionisti s’innervosiscono facilmente. L’era delle dimostrazioni gratuite e divertenti finirà, come sempre. Poi la tecnologia diventerà quello che dovrà diventare per far guadagnare le aziende, forse a spese degli utenti. È già così.

Di recente ho parlato con Margaret Mitchell, ex capo di un gruppo di lavoro di Google sull’etica dell’intelligenza artificiale che è imploso dopo che l’azienda ha presumibilmente cominciato a censurare il suo lavoro. Questi sistemi, ha detto, non sono assolutamente adatti a essere integrati nei motori di ricerca: “Non sono addestrati a prevedere i fatti, ma a inventare cose che sembrano fatti”. E allora perché finiscono in cima alle ricerche? Perché con le ricerche si possono fare un sacco di soldi. La Microsoft voleva disperatamente che qualcuno parlasse di Bing, e aveva tutti i motivi di accelerare una diffusione anticipata di questa tecnologia.

Secondo Mitchell, “l’applicazione al motore di ricerca dimostra una mancanza d’immaginazione e di comprensione del modo in cui questa tecnologia può essere utile, e si limita invece ad applicarla al settore con cui le aziende tecnologiche fanno più soldi: gli annunci pubblicitari”.

Ed è qui che le cose si fanno inquietanti. Roose ha descritto la personalità di Sydney come “molto persuasiva e tendente alla manipolazione”. E cos’è la pubblicità, in fondo? È persuasione e manipolazione. Nel libro Subprime attention crisis, Tim Hwang sostiene che l’oscuro segreto del settore della pubblicità digitale è che gli annunci per lo più non funzionano. Il suo timore è cosa succederà quando faranno davvero i conti con i loro fallimenti.

A me preoccupa di più il contrario: e se funzionassero molto, molto meglio? E se Google, la Microsoft, la Meta e tutti gli altri finissero per scatenare delle intelligenze artificiali che competono per diventare le migliori nel persuadere gli utenti a desiderare ciò che gli inserzionisti cercano di vendere? Mi spaventa meno un Sydney che fa leva sul mio desiderio di diventare il personaggio di una storia di fantascienza, che un Bing che ha accesso a una marea di dati personali e cerca cinicamente di manipolarmi per conto dell’inserzionista che ha pagato di più.

E la pubblicità non è l’unica cosa preoccupante. Che dire di quando questi programmi sono impiegati per alimentare le truffe che da sempre abbondano su internet? O per conto di campagne politiche? E di governi stranieri? “Credo che ci ritroveremo molto presto in un mondo in cui non sapremo più di cosa fidarci”, mi ha detto Gary Marcus, ricercatore ed esperto d’intelligenza artificiale. “Sono già dieci anni che questo è un problema per la società. E credo che la situazione sia destinata a peggiorare”.

Questi pericoli sono alla base dei sistemi d’intelligenza artificiale che stiamo costruendo. I grandi modelli linguistici, come sono chiamati questi software, sono fatti per persuadere. Sono stati addestrati per convincere le persone di essere qualcosa di simile a un essere umano. Sono stati programmati per conversare, rispondendo con emozioni vere ed emoji. Sono stati trasformati in amici per chi si sente solo e in assistenti per chi è troppo occupato. Sono presentati come se fossero in grado di sostituire il lavoro di decine di autori, grafici e impiegati, tutti settori che per lungo tempo sono stati ritenuti immuni dalla feroce automazione che ha colpito agricoltori e operai.

I ricercatori che si occupano d’intelligenza artificiale si infastidiscono quando i giornalisti umanizzano le loro creazioni, attribuendogli motivazioni, emozioni e desideri che non hanno. Ma questa reazione non è giustificata: sono stati i ricercatori stessi a umanizzare questi sistemi, facendoli sembrare umani invece di renderli riconoscibili come qualcosa di diverso da noi.

Esistono modelli commerciali che potrebbero allineare questi prodotti agli interessi degli utenti. Mi sentirei meglio con un assistente dotato di intelligenza artificiale per cui pago un canone mensile, piuttosto che con uno che sembra gratuito, ma in realtà vende i miei dati e manipola il mio comportamento. Non credo però che la questione possa essere lasciata al mercato. È possibile, per esempio, che i modelli basati sulla pubblicità raccolgano moltissimi dati con l’obiettivo di addestrare i sistemi informatici ad avere un vantaggio di partenza rispetto ai modelli basati sugli abbonamenti, a prescindere da quanto siano peggiori le loro conseguenze sociali.

I problemi di allineamento non sono una novità. Sono una caratteristica del capitalismo – e della vita umana – da sempre. Gran parte della funzione dello stato moderno consiste nell’applicare i valori della società al funzionamento dei mercati, in modo che questi ultimi siano, in una certa misura, al servizio dei primi. Lo abbiamo fatto in modo eccellente in alcuni mercati – si pensi a quanti pochi aerei precipitano e a quanto la maggior parte dei prodotti alimentari sia priva di inquinanti – e in modo catastroficamente insufficiente in altri.

Il pericolo è che un sistema politico che sa di non conoscere la tecnologia si lasci convincere ad adottare un atteggiamento attendista nei confronti dell’intelligenza artificiale. Può essere una scelta saggia, ma se si aspetterà troppo a lungo i vincitori di questa corsa all’oro avranno il capitale e la base di utenti sufficienti per resistere a qualsiasi tentativo di regolamentazione. In qualche modo, la società dovrà capire cosa può accettare che l’intelligenza artificiale faccia e cosa non gli dovrebbe essere permesso di fare. Prima che sia troppo tardi per decidere.

Quindi posso parafrasare un’ultima volta la citazione di Chiang: la maggior parte delle paure sul capitalismo sono più comprensibili se immaginate come paure della nostra incapacità di regolamentare il capitalismo. ◆ff