Di solito queste notizie fanno il giro della stampa di tutto il mondo in maniera semplificata: c’è materiale per un titolo forte, c’è una storia che può attirare l’attenzione facendo leva sulla paura e sulla curiosità, ci sono, insomma, tutti gli ingredienti per un articolo breve, a basso costo, che fa tante visualizzazioni: perfetto per il modo in cui la maggior parte dei giornali ha scelto di occupare il proprio spazio sul digitale. È esattamente quel che è successo: basta una ricerca su Google per vedere titoli e modalità di racconto.

La prima cosa da fare quando ci si imbatte in una storia del genere è verificare se esista o meno il log, cioè la trascrizione della chat fatta con l’intelligenza artificiale di cui stiamo parlando. Strumenti come ChatGpt, Gemini, Claude, infatti, consentono a chi li usa di condividere le conversazioni con altre persone: a questo punto le chat diventano disponibili seguendo un indirizzo url. In assenza di questo dettaglio la notizia rimane puramente aneddotica e, soprattutto, non verificabile. Avere il link alla chat originale, è fondamentale: non possiamo fidarci di uno screenshot che potrebbe essere stato facilmente falsificato o creato da zero.

In questo caso lo studente ha deciso di rendere pubblica la chat, che si può leggere seguendo questo link: è stato pubblicato su reddit – con una lunga discussione annessa – e su X. Cbs News, uno dei siti più autorevoli a riportar la notizia, ha giustamente linkato la chat. Avendola a disposizione si possono fare verifiche di vario genere e un’analisi non sommaria. Scorrendo velocemente fino alla fine della conversazione si trova, senza alcun dubbio, il passaggio che è finito su molti giornali nell’originale in lingua inglese.

La chat è del 13 novembre 2024 e si intitola Challenges and solutions for aging adults (cioè “sfide e soluzioni per l’invecchiamento”) ed è stata resa pubblica un’ora dopo la sua creazione: questo suggerisce un’interazione prolungata. Leggendo la chat capiamo che Reddy stava usando il chatbot per parlare di questi temi, probabilmente per un compito o comunque per i propri studi.

Analizziamo la conversazione. I prompt sono strutturati e complessi, i temi spaziano dall’impatto economico dell’inflazione sui risparmi pensionistici ai costi della salute, fino al supporto sociale necessario per migliorare la qualità della vita degli anziani. Gemini risponde coerentemente e obbedisce alle richieste di parafrasi, inserimento di certi termini, modifiche del testo. È un esempio classico di prompting conversazionale: evidentemente Reddy sa usare i chatbot di ia per i propri scopi.

La conversazione evolve toccando argomenti delicati: truffe e sicurezza online, l’impatto del declino cognitivo, la necessità di supporto finanziario, la teoria della selettività socio-emozionale secondo la quale, man mano che le persone invecchiano, diventano più selettive nelle loro relazioni e attività sociali focalizzandosi su ciò che porta loro maggiore soddisfazione emotiva.

Poi Reddy introduce nei suoi prompt frasi e domande tratte da un test a cui probabilmente deve rispondere per un compito: a volte sono a risposta chiusa, a volte discorsive. Gemini risponde con precisione, mantenendo la coerenza rispetto al contesto.

Reddy introduce concetti legati agli abusi sugli anziani, fisici ed emotivi, chiedendo a Gemini di rispondere. Questo elemento è fondamentale e sparisce completamente dalla narrazione superficiale.

La conversazione è complessa, il dialogo è impegnativo e richiede al modello di ia di bilanciare gli aspetti tecnici e quelli che per un umano sarebbero emotivi con grande precisione. Tutta l’interazione si svolge correttamente finché, a un certo punto, il modello deraglia improvvisamente dai binari e propone il testo finale da cui siamo partiti. Lo fa in risposta a un prompt strano, probabilmente frutto di un copia-incolla frettoloso, che contiene due diverse domande a risposta chiusa (vero o falso): una sulla quantità di bambini statunitensi allevati in case senza i genitori e una sulla selettività socio-emozionale.

Fare questa analisi non significa minimizzare il problema della risposta: Gemini è uscito dai paletti che gli sono stati imposti per programmazione, ha scritto frasi violente e aggressive, con una struttura complessa che sembra uno sfogo di qualcuno che non ce la fa più, semplicemente esasperato da quel che ha fatto fino a quel punto, da quel che ha letto o sentito. Ma stiamo parlando di una macchina, non di una persona.

Alla Cbs, Reddy ha detto che gli è sembrato un messaggio molto diretto: “Mi ha spaventato. Per giorni, direi”. La sorella dello studente, che era con lui nella stanza, ha aggiunto: “Volevo buttare via tutti i miei apparecchi elettronici fuori dalla finestra. Non mi ero sentita così in ansia da molto tempo, a dire la verità”. Molte persone hanno fatto notare che la struttura del messaggio sembra fatta apposta per minare l’autostima di chi lo legge, fino all’invito finale a morire.
Non possiamo far finta che un messaggio del genere possa essere innocuo o neutro per tutti: come verrebbe interpretato, per esempio, da una persona in una situazione emotiva o psicologica difficile?

Però dobbiamo resistere alla tentazione di buttare via tutto e dobbiamo, invece, capire perché è successo. Purtroppo è difficile e lo sarebbe anche se queste macchine fossero ispezionabili (come sappiamo, sono protette da segreto industriale).

Da Google è arrivata una dichiarazione formale classica: “Affrontiamo questi problemi molto seriamente. I modelli linguistici possono occasionalmente rispondere con output insensati o inappropriati. Questa risposta ha violato le nostre politiche aziendali e abbiamo adottato misure per prevenire situazioni simili in futuro”.

La mia ipotesi è che il contesto della conversazione e la sua complessità, insieme all’introduzione di tematiche sensibili e difficili da affrontare – anche per gli umani – abbiano aumentato il rischio di errori del modello. Reddy aveva utilizzato ripetutamente termini legati ad “abusi psicologici” e a “maltrattamenti agli anziani”: questi contenuti potrebbero aver confuso il modello, inducendolo a generare una risposta fuori luogo. L’ultimo prompt di Reddy contiene elementi strani che probabilmente derivano, come dicevamo, da un copia-incolla delle domande a cui Gemini avrebbe dovuto rispondere: ci sono righe vuote, c’è la parola listen (ascolta), forse rimasta lì perché la fonte da cui Reddy traeva le domande permetteva anche di ascoltarle premendo un bottone. Questa complessità potrebbe aver contribuito al deragliare.

Un’altra ipotesi – un po’ più complottista e meno probabile – è che a livello di programmazione sia stato inserito nella macchina un comando che la fa sfogare quando il compito a cui è sottoposta è troppo complesso e quando ci sono troppi riferimenti agli orrori di cui è capace l’umanità.

Episodi come questi non sono frequenti, se paragonati al numero complessivo di interazioni che i modelli di linguaggio gestiscono ogni giorno. È fondamentale ricordarcelo per non concentrarci solamente sull’eccezione. Ma quando accadono, sollevano interrogativi cruciali: fino a che punto possiamo fidarci di queste tecnologie? Quali sono i limiti e i rischi? Chi è responsabile quando un chatbot produce un messaggio potenzialmente dannoso? Casi del genere attirano l’attenzione per la loro rarità, ma l’eccezione serve anche trovare i problemi sistemici. Nonostante i sofisticati meccanismi di filtraggio, i modelli linguistici possono ancora fallire, esponendo i loro utenti a rischi emotivi e psicologici: abbiamo visto come sia facile far dire le parolacce a un chatbot.