di Seyed Milad Mahmood Kashani, Ph.D.
Ricercatore (Assegnista di Ricerca, IUS/01 – Diritto Privato)
Università degli Studi di Napoli Federico II
L’illusione della trasparenza
Esiste una semplicità apparentemente convincente nell’idea che la trasparenza possa risolvere il problema dell’accountability algoritmica. Se siamo in grado di vedere come un sistema di intelligenza artificiale giunge alle proprie decisioni, si sostiene, possiamo valutarne l’equità, l’accuratezza e la difendibilità giuridica. Questa intuizione ha influenzato non solo il dibattito pubblico, ma anche la progettazione normativa. L’AI Act dell’Unione europea, il più ambizioso tentativo finora realizzato di regolamentare l’intelligenza artificiale, pone trasparenza e spiegabilità al centro degli obblighi previsti per i sistemi di IA ad alto rischio. Tuttavia, la trasparenza, così come attualmente concepita dal regolamento, non è sufficiente. Potrebbe persino non essere l’obiettivo più appropriato.
Il presente articolo sostiene che i requisiti di spiegabilità sanciti dall’AI Act, pur essendo necessari, sono strutturalmente insufficienti ad affrontare i più profondi deficit di accountability delle decisioni algoritmiche. L’obiettivo non è sminuire le ambizioni del regolamento, che sono reali e significative, bensì individuare ciò che la normativa lascia irrisolto e quali ulteriori strumenti concettuali e istituzionali siano necessari per colmare tale lacuna.
Cosa richiede realmente l’AI Act
La trasparenza prevista dall’AI Act opera su più livelli. L’articolo 13 stabilisce che i sistemi di IA ad alto rischio debbano essere progettati e sviluppati in modo tale da garantire un livello di trasparenza sufficiente a consentire ai soggetti che li utilizzano (deployers) di interpretarne gli output e impiegarli in maniera appropriata. Tale obbligo è rivolto principalmente ai deployers — ospedali, tribunali, banche e pubbliche amministrazioni che utilizzano l’IA nell’ambito di decisioni con effetti rilevanti — piuttosto che agli individui direttamente interessati da tali decisioni.
L’articolo 50 introduce un obbligo di trasparenza più limitato nei confronti delle persone fisiche: quando un individuo interagisce con un sistema di IA oppure è sottoposto a sistemi di riconoscimento delle emozioni o di categorizzazione biometrica, deve esserne informato. Inoltre, qualora un sistema generi contenuti o produca raccomandazioni, tali risultati devono essere chiaramente identificati come generati dall’intelligenza artificiale. Si tratta di requisiti certamente rilevanti, ma che operano sul piano della semplice divulgazione dell’informazione, piuttosto che della sua effettiva comprensione. Essere informati che una decisione è stata presa con il supporto di un sistema di IA non equivale a comprenderne il funzionamento né a poterla contestare efficacemente.
Il regolamento non definisce la “spiegabilità” come un concetto giuridico autonomo. Utilizza invece il termine “trasparenza” per ricomprendere sia l’obbligo di documentare il funzionamento del sistema, sia quello di comunicare tali informazioni a coloro che lo utilizzano o che ne subiscono gli effetti. Questa sovrapposizione concettuale nasconde una distinzione fondamentale: un sistema può essere perfettamente trasparente nel senso che la sua architettura, i dati di addestramento e la logica decisionale siano integralmente documentati, pur rimanendo completamente opaco per la persona alla quale è stato negato un prestito o respinta una domanda di asilo.
I limiti dell’interpretabilità come soluzione tecnica
La letteratura informatica sull’Explainable Artificial Intelligence (XAI) si è sviluppata rapidamente in risposta alle crescenti esigenze normative e sociali. Tecniche come LIME (Local Interpretable Model-agnostic Explanations), SHAP (SHapley Additive exPlanations) e la visualizzazione dei meccanismi di attenzione nelle reti neurali consentono di produrre spiegazioni ex post delle singole predizioni effettuate dai modelli. Un sistema di credit scoring, ad esempio, può essere interrogato per individuare quali caratteristiche — reddito, storico dei pagamenti, codice postale — abbiano contribuito maggiormente al rigetto di una richiesta di finanziamento. Analogamente, un classificatore di immagini mediche può evidenziare le aree dell’immagine che hanno influenzato maggiormente la diagnosi.
Questi strumenti sono certamente preziosi, ma presentano una serie di limiti raramente riconosciuti nel dibattito regolatorio. Innanzitutto, la maggior parte delle tecniche di XAI produce approssimazioni piuttosto che rappresentazioni fedeli del reale funzionamento del modello. Una spiegazione ex post dell’output di una rete neurale profonda non costituisce una finestra sul suo effettivo processo di ragionamento, bensì una ricostruzione semplificata che può discostarsi in misura significativa dal processo computazionale realmente eseguito. Le spiegazioni possono essere accurate oppure facilmente comprensibili; non sempre possono essere entrambe le cose.
In secondo luogo, le spiegazioni sono fortemente dipendenti dal contesto, circostanza che ne riduce l’utilità sul piano giuridico. Lo stesso modello può produrre spiegazioni differenti per input molto simili a seconda della tecnica di XAI utilizzata, del valore di riferimento adottato o del modo in cui viene formulata la richiesta. Questa instabilità implica che la spiegazione fornita a un soggetto che intenda contestare una decisione automatizzata possa avere un rapporto molto debole con quanto il modello abbia realmente calcolato nel momento in cui quella decisione è stata adottata. Tribunali e autorità amministrative difficilmente sono in grado di valutare simili controversie senza il supporto di competenze tecniche indipendenti, di cui la maggior parte degli ordinamenti ancora non dispone.
Infine, e forse in maniera ancora più significativa, le spiegazioni rispondono spesso a una domanda diversa da quella realmente rilevante. Sapere quali caratteristiche abbiano determinato una determinata previsione consente di comprendere qualcosa sul comportamento del modello, ma non dice nulla circa la legittimità di quel comportamento. Un sistema che identifichi correttamente il fatto che un richiedente risieda in un quartiere caratterizzato da elevati tassi storici di insolvenza è trasparente sotto il profilo tecnico; tuttavia, se quel quartiere costituisce un indicatore indiretto dell’origine etnica o della razza della persona, la spiegazione finisce semplicemente per rendere visibile un meccanismo discriminatorio, anziché
eliminarlo.
Il divario di accountability che l’AI Act non colma
Le disposizioni in materia di trasparenza contenute nell’AI Act sono concepite principalmente per consentire ai deployers di utilizzare in modo consapevole gli output dei sistemi di intelligenza artificiale. Non sono invece progettate, di per sé, per offrire agli individui strumenti sostanziali con cui contestare decisioni che incidono sui loro diritti. Questo divario non è casuale: riflette una scelta deliberata di costruire il regolamento attorno a un modello di conformità professionale piuttosto che a un modello fondato sui diritti individuali. Il deployer riceve la documentazione; l’individuo riceve una semplice notifica.
Questa asimmetria assume una rilevanza giuridica ancora maggiore se letta insieme all’articolo 22 del GDPR, che riconosce agli individui il diritto a non essere sottoposti a decisioni basate unicamente su trattamenti automatizzati che producano effetti giuridici o analogamente significativi e, nei casi in cui tali decisioni siano consentite, il diritto di ottenere l’intervento umano, esprimere il proprio punto di vista e contestare la decisione. L’articolo 22 presuppone l’esistenza di una spiegazione significativa della logica sottostante alla decisione, ma né il GDPR né l’AI Act precisano cosa renda una spiegazione realmente significativa, chi sia responsabile di fornirla o come una persona priva di competenze tecniche possa esercitare concretamente tale diritto.
La proposta di Direttiva sulla responsabilità civile per l’intelligenza artificiale (AI Liability Directive) introduce una presunzione relativa di nesso causale qualora sia dimostrata la violazione degli obblighi previsti dall’AI Act, affrontando così, almeno in parte, le difficoltà probatorie che i ricorrenti incontrano nei procedimenti giudiziari. Tuttavia, essa non risolve la questione preliminare: se gli individui dispongano delle informazioni necessarie per comprendere che una violazione si sia verificata né se esista il necessario supporto istituzionale per poter far valere tale presunzione dinanzi a un giudice.
Cosa dovrebbe realmente offrire una “spiegazione significativa”
Gli studiosi che si occupano di accountability algoritmica — in particolare nell’ambito della letteratura sulle spiegazioni controfattuali (counterfactual explanations) — sostengono che ciò di cui gli individui hanno realmente bisogno non sia una descrizione della logica interna del modello, bensì informazioni concretamente utilizzabili che indichino quali elementi dovrebbero cambiare affinché il risultato della decisione sia diverso.
Una spiegazione controfattuale relativa al rigetto di una domanda di finanziamento potrebbe, ad esempio, indicare: «Se il suo reddito annuo fosse stato superiore di 5.000 euro e il livello di utilizzo del credito inferiore al 30%, la domanda sarebbe stata approvata». Una spiegazione di questo tipo non richiede la divulgazione dell’architettura proprietaria del modello, ma si concentra sul rapporto tra dati di input e risultato della decisione in una forma che sia al tempo stesso comprensibile e contestabile.
Le spiegazioni controfattuali non sono tuttavia prive di limiti. Possono individuare percorsi verso un esito favorevole che risultano, nella pratica, irrealizzabili per l’interessato oppure nascondere fenomeni sistemici che incidono su intere categorie di soggetti anziché sui singoli casi. Nonostante ciò, esse rappresentano una concezione della spiegabilità maggiormente orientata alla tutela dei diritti rispetto al modello di documentazione e semplice informazione attualmente imposto dall’AI Act.
La questione che si pone ai legislatori e ai giudici europei è se il diritto alla spiegazione previsto dall’articolo 22 del GDPR possa essere interpretato nel senso di richiedere questo tipo di informazione concreta, individualizzata e orientata all’azione e se le disposizioni sulla trasparenza contenute nell’AI Act possano essere lette in modo conforme a tale interpretazione.
La dimensione istituzionale: chi spiega, a chi e a quali condizioni
Anche una definizione giuridicamente solida di spiegazione significativa non può funzionare senza un’adeguata infrastruttura istituzionale in grado di renderla effettiva. Emergono almeno tre criticità.
In primo luogo, l’AI Act attribuisce principalmente ai fornitori (providers) l’obbligo di produrre le spiegazioni, mentre sono i deployers a interagire direttamente con le persone interessate e a trovarsi nella posizione migliore per tradurre la documentazione tecnica in comunicazioni realmente comprensibili. Il regolamento impone obblighi a entrambe le categorie di soggetti, ma non chiarisce in modo adeguato come debba essere ripartita, nella pratica, questa funzione esplicativa.
In secondo luogo, il regolamento non affronta l’asimmetria di capacità esistente tra i sofisticati fornitori di sistemi di IA e le autorità pubbliche, le piccole imprese e gli utenti individuali chiamati a interpretare e utilizzare le spiegazioni ricevute. Un grande ospedale con migliaia di professionisti può investire nella formazione sull’alfabetizzazione all’intelligenza artificiale; un piccolo imprenditore che utilizza uno strumento automatizzato di valutazione del credito per analizzare i propri clienti, invece, difficilmente può farlo. Obblighi esplicativi calibrati sulle esigenze e sulle capacità delle grandi organizzazioni rischiano quindi di risultare sistematicamente inadeguati per gli operatori di minori dimensioni e per gli individui che da essi dipendono.
Infine, gli organismi indipendenti di vigilanza — quali le autorità garanti per la protezione dei dati, le autorità di sorveglianza del mercato e l’European AI Office — necessitano sia di competenze tecniche sia di un adeguato mandato istituzionale per verificare l’accuratezza e la completezza delle spiegazioni fornite. L’AI Act attribuisce a tali organismi importanti poteri di controllo e di enforcement, ma lo sviluppo degli standard interpretativi e delle metodologie di audit necessari per esercitare efficacemente tali poteri è ancora in una fase iniziale. Una regolamentazione priva di interpretazione rimane soltanto un’aspirazione.
Verso un framework di accountability più sostanziale
Quanto fin qui esposto non costituisce un argomento contro i requisiti di trasparenza. La documentazione obbligatoria, la divulgazione delle informazioni tecniche e gli obblighi di notifica rappresentano condizioni necessarie affinché possa esistere una reale accountability, e la loro assenza costituirebbe una grave lacuna normativa. Il punto è che tali condizioni, da sole, non sono sufficienti. Un framework di accountability adeguato ai rischi posti dai sistemi di IA ad alto rischio dovrebbe integrare gli obblighi di trasparenza con almeno tre ulteriori elementi.
In primo luogo, sarebbe necessario adottare uno standard di spiegazione orientato ai diritti, che non si limiti a prescrivere la semplice fornitura di informazioni, ma richieda che esse siano comunicate in una forma tale da consentire al destinatario di comprendere la decisione e, ove opportuno, di contestarla efficacemente.
In secondo luogo, sarebbero necessarie garanzie procedurali per i processi decisionali assistiti dall’intelligenza artificiale nei contesti pubblici e para-pubblici: non soltanto il diritto, in linea di principio, a una revisione umana, ma il diritto che tale revisione sia svolta da una persona che abbia realmente esaminato il caso concreto, anziché limitarsi ad avallare automaticamente la raccomandazione dell’algoritmo.
Infine, occorrerebbero meccanismi permanenti di audit e di tutela che consentano di individuare modelli sistematici di discriminazione o di errore a livello dell’intera popolazione interessata, e non soltanto dopo la presentazione di singoli reclami.
L’AI Act fornisce già l’architettura necessaria per un simile framework. Ciò che resta da costruire — attraverso la legislazione secondaria, gli standard tecnici, l’interpretazione giurisprudenziale e la prassi istituzionale — è il contenuto sostanziale capace di rendere realmente efficace tale architettura.
Conclusione: la trasparenza come punto di partenza, non come punto di arrivo
I requisiti di trasparenza e spiegabilità previsti dall’AI Act dell’Unione europea rappresentano un serio tentativo di ricondurre i processi decisionali algoritmici entro il perimetro dello Stato di diritto. Essi introducono obblighi di informazione, impongono la predisposizione di documentazione tecnica e creano un’infrastruttura di conformità normativa che, fino ad oggi, non esisteva su scala europea. Si tratta di risultati concreti e significativi.
Tuttavia, così come è attualmente concepita, la trasparenza costituisce un livello minimo di tutela, non il traguardo finale. Essa consente ai deployers di sapere cosa fa un sistema, senza però mettere necessariamente gli individui nelle condizioni di comprendere perché quel sistema abbia assunto una determinata decisione nei loro confronti. Attribuisce diritti all’informazione senza garantire sempre le condizioni necessarie affinché tali informazioni possano essere realmente utilizzate. Inoltre, trasferisce il principale onere interpretativo su soggetti — autorità pubbliche, imprese regolamentate e cittadini — che potrebbero non possedere le competenze tecniche necessarie per assolvere efficacemente tale compito.
L’insegnamento più profondo che emerge dalla letteratura sulla spiegabilità, tanto tecnica quanto giuridica, è che l’accountability dei sistemi algoritmici non può essere raggiunta attraverso la sola disponibilità di informazioni. Essa richiede un’adeguata progettazione istituzionale: organismi dotati del mandato e delle competenze necessarie per verificare, interpretare e far rispettare le regole; procedure che rendano realmente accessibile il diritto di contestazione; e standard di spiegazione concepiti per tutelare gli interessi delle persone interessate dalle decisioni dell’intelligenza artificiale, e non soltanto quelli dei soggetti che tali sistemi li sviluppano o li utilizzano.
L’AI Act indica la direzione da seguire. Il lavoro necessario per dare un contenuto concreto a tale direzione è soltanto all’inizio.
Informazioni sull’autore
Seyed Milad Mahmood Kashani ha conseguito il dottorato di ricerca (Ph.D.) in Diritto Privato presso l’Università degli Studi di Napoli Federico II con il riconoscimento di Doctor Europaeus e la valutazione di Excellent cum laude. Attualmente svolge attività di ricerca in Diritto Privato (IUS/01) presso il medesimo Ateneo. I suoi interessi scientifici riguardano la regolamentazione europea del digitale, la governance dell’intelligenza artificiale, l’armonizzazione del GDPR e il diritto degli smart contract nei sistemi giuridici italiano, tedesco ed europeo. Ha presentato i propri lavori in conferenze internazionali, tra cui quelle organizzate dalla Vrije Universiteit Brussel (VUB) e dall’Universidad de Cádiz.
