Discriminati da un algoritmo

In un episodio della serie Black mirror il mondo è governato da un sistema di punteggi. Come succede per autisti e passeggeri di Uber, che si valutano a vicenda dopo ogni corsa, nell’episodio ogni persona valuta le altre con cui entra in relazione, dando un punteggio su una scala da uno a cinque. Il punteggio medio determina l’accesso delle persone a servizi e beni essenziali come la casa e i trasporti.

Anche nella vita reale siamo inseguiti da punteggi che ci garantiscono o ci negano delle opportunità. Solo che non sono le persone a valutarci, ma degli algoritmi. Dall’accesso a un prestito a un colloquio di lavoro, i sistemi automatici prendono delle decisioni sulla base di ampie raccolte di informazioni personali, spesso senza rivelare esattamente di quali dati si tratta. Alcune informazioni riguardano perfino gli amici, i familiari e i conoscenti, attraverso cui si cerca di capire il carattere di una persona: un fatto che, secondo gli esperti di privacy, potrebbe causare delle discriminazioni.

In Germania, per esempio, quando una persona si rivolge alla Kreditech per avere un prestito deve condividere con l’azienda una serie informazioni personali prese dai suoi account sui social network. Avere tra gli amici qualcuno che in passato ha rimborsato un prestito di solito è “un indicatore positivo”, ha detto al Financial Times il responsabile finanziario dell’azienda.

Fico, l’azienda che sta dietro un noto indice di rating, in India e in Russia sta collaborando con startup come Lenddo per raccogliere informazioni sugli utenti direttamente dal telefono. Lenddo usa la geolocalizzazione del telefono di chi chiede un prestito per capire se dice il vero riguardo a dove abita e a dove lavora, “analizzando poi la sua rete di conoscenze per capire se è in contatto con persone affidabili”, spiega Bloomberg.

Da una parte, raccogliere informazioni di diverso tipo può aiutare chi ha una bassa “affidabilità creditizia” ad avere accesso a prestiti che altrimenti gli sarebbero negati. Ma più questi algoritmi diventano complessi e impenetrabili, più aumenta la possibilità di sentirsi rifiutare un prestito o un lavoro – senza capire bene il motivo. Inoltre, analizzando anche il comportamento di amici e familiari c’è il rischio di attribuire a una persona una colpa che non ha, negandole delle opportunità a causa delle sue amicizie.

Le persone che vivono in aree dove il reddito è basso, per esempio, probabilmente hanno amici e familiari con entrate simili alle loro. È più probabile che tra i loro conoscenti ci sia qualcuno che in passato non ha ripagato un debito. Se un algoritmo tenesse conto di questa variabile, potrebbe escludere la persona solo per colpa dell’ambiente in cui vive.

Negli Stati Uniti l’Equal credit opportunity act non permette ai creditori di fare discriminazioni in base alla razza, al colore della pelle, alla religione, alla nazionalità, al genere, allo stato civile o all’età. Ma se si decidesse di prendere in considerazione la rete di conoscenze delle persone, i creditori potrebbero aggirare questo divieto.

Una specie di far west
Un rapporto del 2007 della Federal reserve ha rilevato che persone nere e ispaniche avevano un’affidabilità creditizia più bassa rispetto a persone bianche e asiatiche. Ma anche che “appartenere a un’area a basso reddito o dove vivono prevalentemente delle minoranze” è un elemento che determina spesso bassi punteggi di affidabilità creditizia.

In un saggio pubblicato nel 2014 dall’Open technology institute della fondazione New America tre studiose della privacy – danah boyd, Karen Levy e Alice Marwick – hanno affrontato le potenziali discriminazioni derivanti dal fatto che gli algoritmi prendano in esame le relazioni sociali delle persone: “Sono frequenti le ingiustizie legate all’origine etnica e alla classe sociale, dal momento che queste caratteristiche determinano spesso la posizione di una persona all’interno di una rete. Il risultato è che osserviamo esiti che colpiscono persone già di per sé marginalizzate”.

Prevenire la discriminazione algoritmica non è una sfida facile. È complicato obbligare le aziende a rispettare le leggi che dovrebbero proteggere i consumatori da pratiche creditizie ingiuste, sostiene Danielle Citron, docente di diritto all’università del Maryland. “Non abbiamo regole certe. Per certi versi è una specie di far west”.

In passato, le agenzie federali incaricate di controllare l’applicazione delle leggi al riguardo non hanno sempre perseguito le aziende che le violavano, spiega Citron. E adesso che a guidarle c’è Donald Trump, potrebbero essere ancora meno interessate a punire i trasgressori, preferendo invece lasciare “che se ne occupi il mercato”, conclude.

Osservando quel che accade all’estero ci si rende conto fino a che punto le aziende, e anche i governi, siano pronti a sostenere la logica dei punteggi. Ancora lontana da sistemi di valutazione come quelli esistenti in Russia e in India, la Cina sta testando un sistema che va ben oltre i punteggi di affidabilità creditizia come li conosciamo.

Secondo il Wall Street Journal, il sistema prende in considerazione i tradizionali fattori finanziari, ma inserisce nella valutazione anche “input sociali” come il rispetto delle leggi (comprese le infrazioni stradali e il pagamento dei trasporti pubblici), l’onestà accademica e l’attività di volontariato. È probabile che il sistema utilizzi anche indicatori online come le abitudini di acquisto e l’interazione con altre persone.

Il punteggio ottenuto potrebbe finire per determinare se le persone potranno o meno accedere a servizi internet, posti di lavoro, istruzione, trasporto e vari altri beni e servizi: un sistema non dissimile dalla valutazione universale di Black Mirror.

In teoria, le leggi statunitensi dovrebbero impedire alle agenzie statali di poter agire in modo così indiscriminato. Ma le aziende private, che sono soggette a regolamenti diversi da quelli del governo federale, potrebbero avvicinarsi di più a una realtà del genere. La verità è anzi che i punteggi di affidabilità creditizia, nella loro forma attuale, influenzano già la vita delle persone in modo determinante. Secondo Citron, “ci siamo molto più vicini di quanto crediamo”.

(Traduzione di Federico Ferrone)