Governare l’ingovernabile? I sistemi di IA ad alto rischio e l’architettura giuridica dell’AI Act dell’UE

di Seyed Milad Mahmood Kashani

Ricercatore Università di Napoli Federico II

Una regolazione nata dall’urgenza

L’Artificial Intelligence Act — Regolamento (UE) 2024/1689, entrato in vigore il 1° agosto 2024, rappresenta il tentativo più completo nella storia della governance digitale di regolamentare la creazione e l’uso dell’intelligenza artificiale (IA). L’atto non è semplicemente uno standard tecnico o una procedura per l’implementazione di procedure, ma piuttosto un’espressione di come l’intelligenza artificiale, nelle sue tendenze più rilevanti, debba essere ritenuta responsabile, resa trasparente e sottoposta allo stato di diritto.
Tuttavia, l’AI Act non è emerso dal nulla. È stato plasmato da anni di fallimenti documentati — sistemi algoritmici che negavano richieste di prestito sulla base del codice postale, strumenti di previsione della recidiva che producevano risultati distorti su base razziale nei tribunali penali, e software diagnostici medici i cui tassi di errore rimanevano sconosciuti ai clinici che vi facevano affidamento. La domanda a cui il regolamento cerca di rispondere è ingannevolmente semplice: quando un sistema automatizzato prende una decisione che influisce sui diritti, le libertà o la sicurezza di un essere umano, chi è responsabile — e di cosa?
La risposta fornita dall’UE è strutturata intorno al rischio. Non tutte le applicazioni di IA sono ugualmente pericolose e la legge non dovrebbe trattarle come se lo fossero. Ciò che l’AI Act introduce, e che questo articolo si propone di spiegare, è un quadro a livelli in cui la categoria più rilevante — l’IA ad alto rischio — comporta un insieme distinto e impegnativo di obblighi giuridici.

Cosa rende un sistema di IA “ad alto rischio”?

Il concetto di IA ad alto rischio è il cuore regolatorio dell’atto. Ai sensi degli articoli 6 e 7, letti insieme agli allegati I e III, un sistema è classificato come ad alto rischio se rientra in una delle due categorie: IA integrata in prodotti già regolamentati dalla normativa armonizzata dell’Unione sulla sicurezza — come dispositivi medici, macchinari o apparecchiature per l’aviazione civile — oppure IA impiegata in un insieme specifico di ambiti sensibili esplicitamente elencati nel regolamento.
Questi ambiti sensibili coprono un terreno insolitamente ampio. Includono l’IA utilizzata nell’identificazione biometrica, nella gestione delle infrastrutture critiche, nell’istruzione e nella formazione professionale, nell’occupazione e nella gestione dei lavoratori, nell’accesso ai servizi essenziali pubblici e privati, nell’applicazione della legge, nella migrazione e nel controllo delle frontiere e nell’amministrazione della giustizia. Il filo conduttore non è la complessità tecnica — è il potenziale di danno sistemico per gli individui le cui condizioni di vita possono essere profondamente influenzate da un output automatizzato che non hanno mezzi per contestare.
Questa classificazione non è una mera etichetta. Attiva un regime giuridico specifico che si applica prima che un sistema raggiunga il mercato, durante il suo funzionamento e dopo che ha causato un danno. Comprendere tale regime richiede di analizzare attentamente ciò che la legge effettivamente richiede a coloro che costruiscono e utilizzano questi sistemi.

L’architettura degli obblighi: fornitori e utilizzatori

L’AI Act distribuisce la responsabilità legale tra due attori principali: i fornitori, che sviluppano o immettono sul mercato i sistemi di IA, e gli utilizzatori, che impiegano tali sistemi in un contesto professionale. Questa distinzione è estremamente rilevante nella pratica. Un ospedale che utilizza uno strumento diagnostico basato su IA sviluppato commercialmente è un utilizzatore, non un fornitore. Un’azienda tecnologica che concede in licenza un algoritmo di selezione del personale a decine di datori di lavoro è un fornitore. Ciascuno ha obblighi differenti, sebbene il confine tra i due possa sfumare quando un utilizzatore apporta modifiche significative a un sistema acquisito.
I fornitori di sistemi di IA ad alto rischio sono soggetti ai requisiti più stringenti. Devono implementare un sistema di gestione della qualità, condurre una valutazione di conformità, registrare il sistema nella banca dati dell’UE per l’IA ad alto rischio e apporre la marcatura CE che segnala la conformità normativa. Prima di tutto ciò, tuttavia, devono affrontare ciò che il regolamento colloca al centro normativo del regime ad alto rischio: governance dei dati, documentazione tecnica, trasparenza, supervisione umana, accuratezza, robustezza e — soprattutto — sicurezza.

La sicurezza come obbligo giuridico, non come scelta tecnica

L’articolo 15 dell’AI Act introduce obblighi di cybersecurity e resilienza per i sistemi di IA ad alto rischio che meritano particolare attenzione. La disposizione richiede che tali sistemi siano progettati e sviluppati in modo da raggiungere un livello adeguato di accuratezza, robustezza e sicurezza informatica — e che mantengano tali caratteristiche lungo tutto il loro ciclo di vita. Ciò significa che la sicurezza non può essere aggiunta successivamente come un ripensamento. Deve essere integrata nel sistema fin dall’inizio.
Il regolamento menziona specificamente la resilienza contro i tentativi di terze parti di sfruttare vulnerabilità del sistema, inclusi gli attacchi avversari — input deliberatamente progettati per manipolare l’output di un modello. Affronta inoltre i rischi di errore, incoerenza o comportamento inatteso derivanti dai limiti tecnici del sistema o da dati che non rappresentano adeguatamente gli ambienti in cui il sistema opera.
Ciò che è giuridicamente innovativo qui non è la richiesta di sicurezza in sé — il diritto sulla sicurezza dei prodotti ha sempre implicato un dovere di evitare output pericolosi — ma la specificità con cui il regolamento affronta le minacce proprie dell’IA. I tradizionali modelli di responsabilità da prodotto erano progettati per oggetti fisici che falliscono in modo prevedibile. Un sistema di IA ad alto rischio può fallire in modo invisibile: può produrre output statisticamente accurati in media ma sistematicamente distorti contro gruppi identificabili; può funzionare bene in condizioni note e fallire catastroficamente in quelle nuove; può essere manipolato sottilmente senza alcun cambiamento rilevabile nel comportamento esterno. Gli obblighi di sicurezza dell’AI Act riconoscono che governare questi sistemi richiede un vocabolario giuridico fondamentalmente diverso.

Supervisione umana: una condizione non negoziabile

L’articolo 14 — relativo alla supervisione umana — rappresenta forse la disposizione più significativa dal punto di vista filosofico nel regime ad alto rischio. Esso richiede che i sistemi di IA ad alto rischio siano progettati in modo tale che le persone possano supervisionarne efficacemente il funzionamento durante il periodo di utilizzo. Una supervisione significativa (non semplicemente equivalente a una ratifica automatica delle raccomandazioni algoritmiche) implica una reale capacità di comprendere, monitorare o intervenire, nonché una reale e continua capacità di ignorare gli output del sistema stesso.
Il regolamento individua varie capacità specifiche che fanno parte della supervisione umana, tra cui la comprensione delle capacità e dei limiti del sistema, l’identificazione e la risposta a eventuali anomalie nelle prestazioni o a comportamenti inattesi, e la possibilità di decidere caso per caso se utilizzare o ignorare l’output del sistema. Gli utilizzatori dovranno designare individui competenti per svolgere tale supervisione. Questo requisito avrà implicazioni non solo sul modo in cui la supervisione sarà esercitata, ma anche su formazione, certificazione e responsabilità istituzionale nei settori interessati, come sanità, forze dell’ordine e pubblica amministrazione.
Questa disposizione rifiuta implicitamente la logica dell’automation bias — la tendenza ben documentata degli operatori umani a deferire in modo acritico alle raccomandazioni algoritmiche, anche quando sono dimostrabilmente errate. La legge non si limita a consentire la supervisione umana; impone strutturalmente le condizioni affinché essa sia possibile. Si tratta di un’ambizione legislativa sofisticata e, nella storia della regolazione tecnologica, piuttosto insolita.

L’intersezione con la responsabilità civile

L’AI Act non opera in isolamento. Esso si interseca — ed è stato progettato per intersecarsi — con il quadro emergente dell’UE in materia di responsabilità per l’IA, in particolare con la proposta di Direttiva sulla responsabilità da IA e la revisione della Direttiva sulla responsabilità per i prodotti. Insieme, questi strumenti hanno modificato il livello di prova necessario per dimostrare che un sistema di IA ha causato un danno. Nel diritto della responsabilità tradizionale, se una persona subisce un danno da un prodotto o servizio, è generalmente tenuta a dimostrare che il prodotto o servizio è stato realizzato con negligenza da parte del produttore.
Nel contesto dell’IA, questo onere è estremamente difficile da soddisfare. La catena causale tra la progettazione di un algoritmo, i dati di addestramento, l’ambiente operativo e un output dannoso specifico è opaca per la maggior parte dei soggetti danneggiati — e spesso anche per i regolatori.
La proposta di Direttiva sulla responsabilità da IA risponde a questo problema probatorio attraverso una presunzione relativa di causalità: quando un soggetto danneggiato riesce a dimostrare la non conformità agli obblighi rilevanti previsti dall’AI Act — inclusi quelli in materia di sicurezza, accuratezza e supervisione — si presume il nesso causale tra tale non conformità e il danno subito. Spetterà poi al fornitore o all’utilizzatore confutare tale presunzione. Questo rappresenta un’importante innovazione dottrinale, che collega il quadro di conformità ex ante dell’AI Act ai meccanismi di responsabilità ex post del diritto civile.

Sfide di implementazione e prospettive future

La tempistica di applicazione dell’AI Act è graduale. La maggior parte degli obblighi per i sistemi di IA ad alto rischio diventerà pienamente applicabile a partire dal 2 agosto 2026, sebbene alcune disposizioni — in particolare quelle relative ai modelli di IA a uso generale — siano entrate in vigore in precedenza. È particolarmente rilevante notare che esiste un periodo transitorio esteso fino al 2 agosto 2027, durante il quale i sistemi di IA ad alto rischio già integrati in prodotti regolati dalla normativa europea armonizzata sulla sicurezza non saranno tenuti a raggiungere immediatamente la piena conformità. Questo è significativo per i produttori di dispositivi medici, macchinari e altri settori regolati, in quanto l’IA è integrata nei prodotti come componente e non come entità separata. L’Ufficio europeo per l’IA (istituito dalla Commissione Europea) è responsabile dell’applicazione del regolamento a livello dell’UE e condivide competenze analoghe con le autorità nazionali di vigilanza del mercato negli Stati membri.
Le sfide pratiche di implementazione sono considerevoli. Le valutazioni di conformità per i sistemi ad alto rischio richiedono competenze tecniche che molte autorità nazionali non hanno ancora sviluppato. Gli standard ai quali i sistemi di IA devono conformarsi — attualmente in fase di elaborazione da parte degli organismi europei di standardizzazione — non sono ancora completi in tutti i settori rilevanti. Inoltre, il confine tra ciò che costituisce un sistema ad alto rischio e ciò che non lo è rimane controverso in diversi ambiti, generando incertezza sia per gli sviluppatori sia per gli utilizzatori.
La sfida più profonda, tuttavia, è concettuale più che procedurale. L’AI Act si basa su un approccio fondato sul rischio che presuppone che i danni dell’IA siano misurabili, classificabili e contenibili. Ma i danni algoritmici sono spesso sistemici, diffusi e lenti a manifestarsi — operano a livello di popolazioni piuttosto che di individui, e su orizzonti temporali che possono non essere visibili al momento dell’implementazione. Il regolamento rappresenta un passo necessario. La sua sufficienza dipenderà tanto dall’interpretazione e dall’applicazione da parte di istituzioni, tribunali e società civile quanto dal testo normativo stesso.

Conclusione: il diritto come vincolo progettuale

L’AI Act dell’UE introduce un quadro giuridico che considera l’IA ad alto rischio non come un prodotto da regolamentare a posteriori, ma come un sistema socio-tecnico la cui progettazione deve essere vincolata fin dall’inizio. I requisiti imposti — qualità dei dati, trasparenza, supervisione umana, accuratezza e sicurezza — non rappresentano semplici formalità burocratiche, ma condizioni strutturali per garantire che i processi decisionali automatizzati operino in modo legittimo nei contesti in cui sono in gioco diritti fondamentali e sicurezza.
Le organizzazioni e i soggetti giuridici che operano in Europa devono comprendere chiaramente che non esiste un’opzione di non conformità agli standard stabiliti. In caso di violazione, sono previste sia sanzioni amministrative sia responsabilità civile. Il regime sanzionatorio è articolato: le violazioni degli obblighi relativi ai sistemi di IA ad alto rischio possono comportare sanzioni fino a 15 milioni di euro o al 3% del fatturato annuo globale, se superiore; le violazioni relative alle pratiche vietate — poste al vertice della gerarchia del rischio — possono raggiungere i 35 milioni di euro o il 7% del fatturato globale.
Più profondamente, il regolamento invita a un cambiamento nel modo in cui sviluppatori, utilizzatori e regolatori concepiscono l’IA: non come uno strumento neutrale che amplifica le capacità umane, ma come un sistema di scelte — tecniche, commerciali ed etiche — per le quali qualcuno deve sempre essere responsabile.
Questa responsabilità, in ultima analisi, è ciò che lo stato di diritto richiede. L’ambizione dell’AI Act è garantire che non siano, ancora una volta, i soggetti regolati a sopportare da soli i costi di tecnologie che non hanno progettato, che non comprendono e che non possono contestare.