Sappiamo che c’è un algoritmo dietro al sistema che definisce le graduatorie scolastiche per le supplenze, ma anche nel software di riconoscimento facciale in uso alle forze di polizia (il Sari), o nel nuovo Vera, uno strumento introdotto nel 2022 dall’agenzia delle entrate per individuare gli evasori fiscali. E sempre grazie a un algoritmo durante la pandemia è stata assegnata la priorità per l’accesso ai vaccini anticovid in base alle caratteristiche di ogni persona. Infine con un algoritmo dovrebbe essere assegnata la carta Mia, da cui dovrebbe passare il nuovo reddito di cittadinanza.

Le decisioni prese in base a calcoli algoritmici in Italia sono molte più di quelle che immaginiamo. Solo che per rintracciarne l’uso e capire quali siano le differenze tra loro – per esempio di quali dati tengono conto e come sono incrociati, per quale scopo sono impiegati – bisogna procedere caso per caso„ perché l’agenzia per l’Italia digitale, che coordina le politiche per l’innovazione e si occupa della realizzazione degli obiettivi di digitalizzazione del paese, su questo tema non ha mai attivato un vero e proprio monitoraggio pubblico.

Se però i sistemi automatizzati usano i dati privati per aiutare le amministrazioni a prendere decisioni è fondamentale che le persone ne siano al corrente. È questa la posizione di Diletta Huyskes, responsabile dell’area advocacy e policy dell’organizzazione Privacy network, che ha avviato un’iniziativa di monitoraggio dal basso per tenere traccia dell’uso di algoritmi nell’amministrazione pubblica. L’idea nasce nel 2021 quando, nel pieno della pandemia di covid-19, era proprio un algoritmo a definire la libertà di movimento dei cittadini in base a ventuno parametri di analisi dei dati sui contagi diffusi a livello nazionale.

“Il sistema a colori delle diverse regioni era a tutti gli effetti un algoritmo, ma nessuno aveva spiegato chiaramente ai cittadini il funzionamento, e vedevo il contrasto assoluto tra il lavorare come ricercatrice nel luogo che quei dati li elaborava, la fondazione Bruno Kessler, e tornare a casa la sera, parlare con mia nonna e spiegarle come mai il giorno dopo, per la decisione di un computer, non sarei potuta andare a trovarla”.

Un caso esemplare di abuso dei sistemi automatizzati da parte delle pubbliche amministrazioni citato anche da Huyskes come ispirazione per avviare l’osservatorio fu quello del sistema automatico Syri (System risk indication, sistema di indicazione di rischio), usato da alcuni comuni dei Paesi Bassi per individuare casi di frode su servizi di welfare. I cittadini non erano mai stati informati dell’uso dei loro dati o sulle classificazioni possibili stabilite dall’algoritmo, fermato e dismesso nel 2020 dopo la condanna del tribunale dell’Aja per violazione del regolamento dei dati personali. La corte non aveva sanzionato l’uso dell’algoritmo in generale, ma sostenuto l’importanza per i cittadini di poter verificare che i loro dati fossero usati secondo la legge e che i modelli informatici non contenessero pregiudizi o errori.

Nel 2021 però, sempre nei Paesi Bassi, un altro algoritmo governativo è stato bloccato per presunti abusi e l’allora primo ministro Mark Rutte fu costretto a dimettersi: infatti un rapporto presentato in parlamento nel 2020 aveva dimostrato un danno a carico di oltre 35mila persone ingiustamente accusate di frode dall’autorità fiscale olandese tra il 2004 e il 2019 riguardo all’ottenimento di sussidi familiari. Il governo è stato costretto a rimborsare le famiglie che non avevano ricevuto i sussidi a causa delle impostazioni dell’algoritmo, che aveva considerato in modo discriminatorio anche il fatto di avere una doppia nazionalità come criterio di rischio.

“Con Privacy network ci siamo chiesti quanti e quali fossero i sistemi di questo tipo attivi nel nostro paese. Andiamo per tentativi, rintracciando le notizie sui giornali che ne parlano e poi facendo una richiesta di accesso agli atti (prevista dalla normativa del 2016 chiamata anche in Italia Freedom of information act, o Foia), per ottenere informazioni più specifiche da ogni ente. Spesso non riusciamo a ottenere risposta perché le persone che ci lavorano non hanno idea di come funzioni”, spiega Huyskes.

È frequente scoprire che certe funzioni sono affidate agli algoritmi, quando qualcosa non funziona, come è accaduto per l’algoritmo che assegna le cattedre per le supplenze scolastiche, attivo dal 2017. O, ancora, quando il garante della privacy interviene per una possibile violazione nell’uso dei dati personali, come è successo di recente con tre asl friulane che avevano adottato algoritmi “per classificare gli assistiti in relazione al rischio di avere o meno complicanze in caso di infezione da covid-19”. Si trattava di un algoritmo che serviva a prevedere la situazione sanitaria dei cittadini, ma secondo il garante il “trattamento automatizzato” dei dati degli utenti deve essere possibile solo quando c’è una legislazione specifica in merito, e in Italia non esiste ancora una regolamentazione per le intelligenze artificiali nella pubblica amministrazione. Infatti le tre asl dovranno pagare una multa di 55mila euro e cancellare i dati in loro possesso.

All’interno dell’osservatorio sono stati classificati sistemi più pervasivi e noti come il Sari (Sistema automatico di riconoscimento immagini), a disposizione delle forze dell’ordine del ministero dell’interno, ma anche esperimenti come Shareart, un progetto adottato dall’istituzione Bologna Musei per monitorare le espressioni visive dei visitatori di un museo davanti alle opere. “Il problema, nel caso del museo, è la consapevolezza dei cittadini che si trovano davanti a un’opera e non sanno che viene rilevata la loro espressione facciale”, precisa Huyskes. “In più, se i dati in possesso del museo possono essere incrociati con quelli dell’anagrafe, del fisco o di altre banche dati, diventa fondamentale sapere che uso se ne potrà fare in futuro, a prescindere da chi li abbia raccolti per la prima volta”.

Che le amministrazioni pubbliche, dai comuni alle aziende sanitarie locali ai ministeri, si stiano dotando di algoritmi per aumentare l’efficienza di alcune procedure è riconosciuto anche dal fatto che il Pnrr prevede la destinazione di sei miliardi di euro a iniziative negli ambiti “Digitalizzazione PA” e “Innovazione PA”.

“Nella mia esperienza l’uso di queste soluzioni è sempre più frequente”, sostiene l’avvocato Ernesto Belisario, avvocato che si occupa di diritto delle tecnologie all’interno dello studio E-lex, “soprattutto per procedimenti con istruttorie complesse, come concorsi, gare d’appalto, assegnazione di benefici. Il problema è che non c’è un’adeguata consapevolezza, nemmeno all’interno degli enti che li sfruttano, che si tratta di algoritmi, con tutti i rischi che comportano. Si pensa che siano solo dei software, e non si ragiona sulla loro complessità e sugli impatti sulla libertà e i diritti degli interessati. E l’uso di queste soluzioni non sempre è dichiarato”.

Nel 2017 una sentenza del consiglio di stato ha definito per la prima volta alcuni princìpi relativi all’uso degli algoritmi nelle pubbliche amministrazioni, occupandosi della situazione problematica creata dall’algoritmo in funzione dal luglio di quell’anno per le graduatorie scolastiche. Sulla possibilità di delegare attività amministrative alle macchine il consiglio di stato poi ha emesso diverse sentenze, nel 2019 e nel 2020, affermando che non solo è possibile, “ma auspicabile” usare gli algoritmi nell’attività amministrativa, ricorda Belisario, purché siano rispettate una serie di garanzie, compresa quella della trasparenza, prevedendo la possibilità di verificare in ogni momento la correttezza dell’operato degli algoritmi anche accedendo al codice sorgente dei programmi informatici.

Se gli investimenti e il processo di digitalizzazione aumenteranno la presenza di algoritmi nelle decisioni pubbliche, il problema resta quello della responsabilità.
“I processi lavorativi stanno cambiando e questo ha un impatto anche sulla pubblica amministrazione. Ma se la digitalizzazione, e quindi l’uso di sistemi automatizzati, ha l’obiettivo di creare efficienza, dobbiamo chiederci cosa sia e su quali persone ha un impatto”, sostiene la filosofa Teresa Numerico, che insegna logica e filosofia della scienza alla facoltà di Roma Tre. Secondo Numerico, il miglioramento dovuto alla velocità di decisione degli algoritmi non è positivo se crea discriminazioni o iniquità, anche nell’accesso, perché l’efficienza “non è un concetto neutro. Si presuppone che un computer abbia meno bias e pregiudizi rispetto a un essere umano, ma dipende da com’è costruito e da quali sono i dati su cui si basa”.

Se prendiamo un caso esemplare come l’algoritmo che definisce le graduatorie per le supplenze a scuola, il tema della responsabilità è il nodo centrale: l’erroe è di chi ha progettato le regole su cui si basa il software o di chi ha scritto il codice che le implementa? O forse, con Alessandro Fusacchia, ex capo di gabinetto del ministero dell’istruzione ai tempi della Buona scuola, nel libro Lo stato a nudo, ci si può chiedere se abbia a che fare con le centinaia di clausole e variabili inserite nel contratto firmato da sindacati e ministero, “illeggibile anche per i massimi esperti mondiali di graduatorie della scuola italiana”.

Secondo Numerico, questo esempio dimostra che siamo in una fase di “interregno”, in cui vogliamo tradurre atti amministrativi, contratti che si basano su negoziati in cui è prevista anche una certa discrezionalità, in formule informatiche interpretabili dai computer, che comunque consideriamo infallibili, mentre esiste un ampio margine di errore.

La regolamentazione dell’uso di questi sistemi, come sta avvenendo al livello europeo con la discussione dell’Artifical intelligence act, è il primo passo per stabilire la responsabilità e gli obblighi di chi farà uso di strumenti di intelligenza artificiale in Europa. Ma altrettanto fondamentale, ricorda Huyskes a proposito degli obiettivi dell’osservatorio dal basso attivato da Privacy network, “è la consapevolezza dei cittadini sul fatto che questi processi esistono, e che alcune decisioni che li riguardano sono prese in modo automatizzato in base ai loro dati”.