Una giornata qualunque su internet: cerchiamo informazioni su Google, verifichiamo l’erogazione del mutuo nel sito della nostra banca, commentiamo lo status di un amico su Facebook. Quanto sappiamo dei meccanismi che hanno regolato queste operazioni? Niente.

Certo, la maggioranza di noi non sa nemmeno come funziona il motore di un’automobile moderna – ma quantomeno possiamo capire se è nelle condizioni di portarci a destinazione; e se non lo è, un meccanico qualsiasi potrà aiutarci. Molte architetture dei sistemi digitali, invece, si basano su un velo di segretezza assoluta. Ogni giorno consegniamo informazioni, password, contenuti, nomi, numeri di carte di credito, video e così via ad aziende il cui meccanismo è estremamente opaco.

Questa la tesi esposta da Frank Pasquale nel suo The black box society (Harvard University Press 2015): su internet le aziende e le istituzioni sono sempre più sottomesse alla “logica del segreto”, mentre le nostre vite private sono sempre più trasparenti e aperte nei confronti di chi le gestisce. Tutto ciò che facciamo online è tracciato, e il regime di sorveglianza sul web – che sia giustificato per “ragioni di sicurezza” oppure per “semplificare l’esperienza di navigazione” – ha un’estensione immensa.

Naturalmente, la segretezza delle operazioni finanziarie e industriali o dei sistemi di ricerca non serve ad altro che ad arricchire pochi: a mantenere dei rapporti di potere, in un mondo dove “l’autorità è espressa sempre più in termini algoritmici”. Finché i metodi operativi di Google o Facebook o Wall street (ma anche di un’azienda telefonica) rimarranno oscuri, non avremo alcun modo di distinguerne il buon funzionamento dall’abuso. Ma è proprio su questa oscurità – sulla black box impenetrabile perfino ai migliori analisti, e la connivenza della legge a difenderla – che si basa gran parte del capitalismo contemporaneo.

Il saggio di Frank Pasquale è ricchissimo di analisi, esempi e spunti. In questo articolo mi limiterò a dare una panoramica degli aspetti chiave del libro: il modo in cui la filosofia e la pratica della black box si realizzano nella società contemporanea.

Un futuro in cui i big data risolvono gran parte dei problemi è un’illusione

I big data (un numero di informazioni tanto vasto e complesso da necessitare metodi specifici di analisi) sono stati un tormentone degli ultimi anni. Nella sua variante più ottimistica e Silicon Valley oriented, più dati si accumulano e maggiore efficacia avrà qualsiasi servizio proposto: la massima personalizzazione con il minimo costo. L’ex amministratore delegato di di Google, Eric Schmidt, disse che il suo motore di ricerca avrebbe dovuto, un giorno, rispondere a domande come “Cosa farò domani” o “Quale lavoro dovrei accettare?”, mentre Chris Anderson si spinse a dire che i big data avrebbero reso superfluo il metodo scientifico.

Pasquale mostra con chiarezza che si tratta di un mito, e di un mito molto pericoloso: “Per quante semplificazioni o scorciatoie i big data possano offrire, probabilmente ne impongono altri, costi nascosti o ricerche senza speranza. I vostri dati sono una fonte di grande profitto per gli altri, ma spesso a vostre spese. E nelle mani sbagliate, vi costeranno cari”.

Per esempio, alcune ricerche online su una specifica malattia e la compilazione di un form solo in apparenza scollegato, e il vostro nome potrebbe essere associato a questa malattia, pronto per essere venduto al database di un’azienda farmaceutica. E che dire del caso di Michele Catalano, che ha ricevuto la visita di una squadra antiterrorismo per avere cercato su Google “pentola a pressione” mentre suo marito cercava informazioni sugli zaini?

Anche le azioni più innocue (come aderire a un gruppo su Facebook) possono avere ripercussioni di cui non sappiamo nulla (per esempio, che l’adesione a quel gruppo ci impedirà di fare domanda per un certo impiego). Un mondo dominato dagli algoritmi e dai big data potrà apparire più semplificato, ma è anche un mondo dove l’estrema personalizzazione può rinforzare i pregiudizi e limitare il pluralismo delle idee – l’effetto bolla teorizzato da Eli Parisier – e in cui il sistema di tracciamento e sorveglianza farebbe impallidire Foucault.

Non è possibile dimostrare la neutralità degli algoritmi

Per quanto sulla carta il meccanismo di Google appaia piuttosto chiaro (i risultati sono ordinati in base alla qualità dei contenuti dei siti e al numero e alla bontà dei link che puntano verso i siti stessi), il suo algoritmo resta rigorosamente segreto. In genere funziona, ma non abbiamo modo di sapere nel dettaglio come funziona – a differenza del motore di un’automobile.

Inoltre, nessun algoritmo è di per sé immune al pregiudizio: il fatto che sia un processo meccanico non dovrebbe farci dimenticare che è stato scritto da esseri umani con valori e desideri precisi, i quali traspaiono nel software stesso.

Considerate il caso di Latanya Sweeney. Due anni fa ha pubblicato uno studio in cui sospettava che i neri subissero una forma di discriminazione su Google: cercando il suo nome e cognome o altri molto diffusi tra i neri, il motore di ricerca associava l’annuncio di un database di controllo (instantcheckmate.com) il cui titolo era “Latanya Sweeney: arrested?”. Con nomi molto comuni tra i bianchi, la cosa non accadeva. Naturalmente, Google si affrettò a negare qualsiasi discriminazione razziale, e può anche essere vero: ma il punto è proprio questo. È impossibile capire davvero cosa succeda nella scatola nera dell’algoritmo di Mountain View, perché non lo sa nessuno.

Il sistema di sorveglianza digitale è capillare e dannoso

La “logica dell’emergenza”, nata nel mondo occidentale dopo gli attentati dell’11 settembre 2001, è ormai moneta corrente. Gli scandali legati alla National security agency (Nsa) e alle rivelazioni di Edward Snowden e Chelsea Manning hanno finalmente gettato luce sull’immensa rete di sorveglianza messa in atto dal governo statunitense sui propri cittadini, con la scusante che “se non hai nulla da nascondere, non hai nulla di cui preoccuparti”.

Il problema, nota Pasquale, è che il discrimine tra attività sovversiva e semplice attività di protesta è molto sottile agli occhi dello stato: e, ancora una volta, per nulla chiaro. Il fatto che dei partecipanti di Occupy Wall street – dei temibili sospetti terroristi – abbiano subìto forme di controllo e spionaggio già la dice lunga.

Non solo. Se le agenzie governative non possono ottenere dei dati perché la legge glielo impedisce, ci sono delle aziende pronte a venderli. Ancora oggi l’Nsa non ha confermato né negato di avere lavorato con Google per sviluppare il suo sistema di intelligence: una prova tangibile che la dicotomia libero mercato versus stato protezionista mostra la corda, perché aziende e istituzioni vanno spesso a braccetto in questi e altri casi.

Ora: nonostante tale sistema abbia mostrato la sua inefficacia e i suoi difetti, e nonostante gli scandali di cui sopra, è ancora largamente attivo – anche perché si basa sulla paura che esso stesso fomenta, oltre a essere difficile da percepire: è una sorta di lenta erosione delle libertà personali e dello spazio di comportamenti tollerabili, barattate per una pretesa e inesistente sicurezza collettiva.

(Di recente, la corte d’appello di New York ha dichiarato illegale la raccolta di metadati telefonici dell’Nsa, lasciando sperare in un minimo di riforma o maggiore consapevolezza del problema; ha inoltre spiegato bene il meccanismo in corso: raccogliamo tutto, e poi vediamo in futuro cosa può servire o meno alle indagini).

(Ah, e non crediate che la nuova legislazione europea al riguardo sia molto più flessibile o liberale; basta dare un’occhiata a quanto sta succedendo nel Regno Unito, in Francia o in Germania. Lungi dall’essere un problema americano, come può emergere dagli esempi molto circostanziati di Pasquale, il tema della sorveglianza di massa è assolutamente globale).

Le grandi aziende digitali sono cattive

Il motto di Google è Don’t be evil – non essere cattivo. Ma come avrete ormai capito, le cose stanno molto diversamente sia per l’azienda di Mountain View sia per tutti gli altri giganti del capitalismo digitale, da Amazon a Facebook.

Ancora una volta, è la difficoltà di stabilire dei confini chiari tra gli scopi di una piattaforma a rendere tutto molto complesso. Lo scopo manifesto di Google è di organizzare l’informazione – possibilmente, tutta l’informazione del mondo. Ma in realtà il suo vero scopo è semplicemente fare più soldi, come ogni azienda. Questa contraddizione tra un compito di enorme responsabilità (e che influenza profondamente la nostra visione delle cose), e la necessità di crescita economica, è esplosiva: da un lato produce degli strumenti utilissimi, e dall’altro tende a trasformare il web in una lotta sfrenata per il profitto dove il rispetto per la privacy è un valore sempre più inconsistente.

La finanza è ancora più cattiva

Inutile dire che il sistema finanziario ha fatto ampio uso di un simile perfezionamento della tecnologia dell’informazione. La storia venduta alla gente e agli investitori è che algoritmi più raffinati avrebbero assicurato un maggiore controllo sui rischi – e lo stesso vale, per esempio, per i mutui concessi dalle banche. Ma dietro questa sorridente facciata c’è un mondo di operazioni al limite del lecito (o pienamente illecite) potenziate dai nuovi strumenti di controllo a disposizione: per esempio il trading ad alta velocità, ovvero comprare e rivendere azioni nello spazio di alcuni millisecondi per massimizzare la resa.

Fanno tutto le macchine, di cui a parte pochissimi operatori nessuno sa nulla: una black box all’ennesima potenza. Durante la bolla edilizia, racconta Pasquale, la più grande azienda prestatrice di fondi subprime aveva come motto “Fiero sponsor del sogno americano”. Ma la verità sta nell’email di un dirigente ai commerciali: “Siamo tutti qua per fare la più grande quantità di soldi possibile, cazzo. Fine del discorso. Non importa nient’altro”.

Che fare?

In sintesi, le black box creano delle aziende in cui le economie sono separate e disuguali, si creano poteri invisibili fondati sulla segretezza legalizzata e su algoritmi opachi, e la concorrenza sleale è ampiamente caldeggiata dal sistema.
Non è un bello scenario, ma ci siamo già dentro. Che fare, quindi?

L’aspetto più apprezzabile del discorso di Pasquale è il suo rigore etico.

Invitare le persone a sviluppare delle tecniche di sicurezza personale – password più robuste, navigazione anonima, maggiore consapevolezza della propria identità digitale eccetera – è importante: ma rischia anche di essere immorale. Chi non ha il modo o i soldi per sviluppare tali capacità rimarrà sempre indietro, sarà sempre preda della scatola nera. Invece di trovare dei trucchi per sfuggire tra le maglie del sistema (e diventare più smart), dovremmo fare qualcosa che valga per tutti: portare avanti una critica radicale a questo sistema.

Ecco allora un piccolo florilegio delle proposte elencate nel libro, che si rifanno anche al lungo lavoro di consulenza e attivismo dell’autore: