di Riccardo Tripepi
Ines El Gataa, matematica e ricercatrice in Intelligenza Artificiale, è una divulgatrice che si occupa di etica dell’intelligenza artificiale, con un’attenzione particolare ai bias algoritmici, alla rappresentazione dei contesti culturali nei modelli di IA e al rapporto tra tecnologia, diritto e società.
Il suo lavoro e le sue riflessioni si muovono fuori da molte delle categorie dominanti del dibattito occidentale sull’IA. A partire anche dalle proprie origini culturali, El Gataa propone una lettura critica dell’“algoritmo come oracolo”, della fiducia quasi religiosa attribuita ai numeri e della delega di responsabilità a sistemi automatici. Il confronto con l’etica islamica diventa, in questa prospettiva, uno strumento analitico per interrogare limiti strutturali, zone d’ombra normative e conseguenze sociali dell’automazione decisionale.
Nel corso dell’intervista rilasciata a Byte.Legali, El Gataa affronta senza semplificazioni i nodi più controversi dell’intelligenza artificiale contemporanea: dagli errori dei modelli ai loro limiti strutturali, dalle difficoltà giuridiche alla regolazione europea, fino ai temi della geopolitica, della tutela dei minori e del ruolo dell’etica nei sistemi automatizzati.
L’algoritmo come oracolo, davvero in Occidente gli attribuiamo tanta fiducia?
Per come è visto in Occidente, sì, l’algoritmo viene vissuto come un oracolo. Io faccio spesso questa distinzione tra Occidente e mondo non occidentale, in particolare quello islamico. L’algoritmo come oracolo regge perché soddisfa tre grandi bisogni della popolazione occidentale. Il primo è ridurre l’incertezza. Viviamo in una condizione di incertezza continua e più andiamo avanti più facciamo fatica a gestirla. Il secondo è distribuire la responsabilità, quindi anche darla a qualcun altro. Il terzo è accelerare le decisioni. Abbiamo sempre più bisogno di andare veloci, di processare più informazioni e di avere risposte rapide. Con la dinamica che stiamo vivendo negli ultimi anni, se qualcosa ci dà una risposta veloce la prendiamo. A maggior ragione se questo qualcosa è un numero. Dal periodo dell’Illuminismo in poi, in Europa si è data una sorta di oggettività universale al numero e alla matematica. Questa cosa, invece, nel mondo islamico non è mai esistita, perché non c’è mai stata una separazione netta tra mondo scientifico e mondo religioso. Storicamente, i grandi matematici erano anche teologi, quindi non c’è mai stata questa divisione. L’algoritmo come oracolo risponde al bisogno di avere qualcosa che dia risposte, un po’ come altrove fanno la fede o altre convinzioni. Il problema è che una delle prime lezioni della filosofia della matematica è che il numero è un costrutto. Il numero non esiste nella realtà. Trovi un albero, ma non trovi il numero uno. Il numero, il dato, qualsiasi oggetto matematico è una rappresentazione soggettiva della realtà. E quindi rientriamo in questo circolo. Sappiamo che ChatGPT è qualcosa di informatico, matematico, scientifico e automaticamente lo consideriamo giusto. Da qui derivano anche fenomeni molto gravi, come i casi di suicidi spinti da interazioni con intelligenze artificiali in Occidente. Queste cose succedono molto meno nel resto del mondo, perché lì si tende a mettere maggiormente in discussione la fonte dell’informazione, cosa che in Europa e in questa parte del mondo si fa molto meno.
Un altro tema sul quale si è spesso soffermata è quello relativo agli errori dell’intelligenza artificiale. Sono correggibili o strutturali?
Dipende. Esistono due tipi di errori. Da un lato ci sono gli errori tecnici, che sono correggibili come bug, dataset non rappresentativi, problemi di data governance. Tutte cose che puoi correggere con un approccio ingegneristico, con più accortezze sulla gestione dei dati, con post-market monitoring, auditing e controlli tecnici. Poi ci sono limiti strutturali. Questa è una cosa di cui spesso le persone considerate “tecniche” non parlano. Ogni modello rappresenta il contesto in cui è nato. Molti contesti nel mondo non producono abbastanza dati per essere rappresentati da questi modelli. La popolazione che parla inglese come lingua madre è minoritaria nel mondo, eppure l’inglese è sovra-rappresentato in quasi tutti i modelli. Questi sono limiti strutturali, perché se io non ho dati di un determinato contesto, non posso rappresentare quel contesto. Inoltre. un modello riflette sempre i bias di chi l’ha addestrato. Se io parto dall’idea che, per esempio, le donne che portano il velo siano sottomesse, il modello continuerà a ripetere questa cosa. Per quanto tu possa fare ingegneria e cercare di sistemare questi aspetti, dovresti cambiare completamente la mentalità delle persone che addestrano i modelli, che provengono da una nicchia ben precisa del mondo. E questo è molto difficile.
Allarghiamo il campo al rapporto tra intelligenza artificiale e diritto. Quali sono oggi le difficoltà principali?
Sul piano giuridico, secondo me, esistono dei limiti strutturali molto forti. Non essendo giurista, parlo dalla mia esperienza diretta. Io lavoro come product manager su un’applicazione di recruiting che si occupa in particolare di donne e persone di seconda generazione. Quando mi trovo a lavorare sulle variabili, dal punto di vista giuridico, noto una differenza molto netta. Le variabili legate al genere non creano particolari problemi, perché il genere è una categoria riconosciuta e contemplata anche dal diritto, per esempio nel discorso delle quote. Il problema nasce invece quando si parla di seconde generazioni. In quel caso, la logica che viene applicata è sostanzialmente questa: se non apro il discorso, il problema non esiste. Io non posso, per esempio, trattare o “manipolare” dati sensibili come l’etnicità, e questo diventa estremamente problematico, perché impedisce di intervenire su dinamiche che esistono concretamente. Questa impostazione si collega anche ad altri ambiti. Penso, per esempio, al tema dei femminicidi: se non raccogli e non analizzi i dati, è come se il problema non esistesse. Non calcolare significa invisibilizzare. E questo, secondo me, è un nodo molto serio nel contesto giuridico italiano, soprattutto quando si parla di intelligenza artificiale e di sistemi che dovrebbero servire anche a ridurre le disuguaglianze.
A proposito del riferimento al femminicidio…l’ultimo intervento normativo italiano la convince?
Secondo me l’intervento è necessario, ma il punto non è tanto la singola modifica normativa in sé. È una conseguenza, non è qualcosa che nasce prima del problema. Arriva sempre dopo. Il nodo centrale è che, se tu non studi un fenomeno, se non raccogli e non analizzi i dati su quel fenomeno, è come se lo rendessi invisibile. E quando una dinamica viene invisibilizzata, diventa impossibile intervenire in modo tempestivo e strutturale. Non puoi aspettare che il problema diventi enorme prima di agire. E invece è quello che sta succedendo oggi, non solo sul femminicidio ma in molti altri contesti: si interviene quando l’emergenza è già esplosa, perché prima mancava la volontà, o la possibilità, di misurare, osservare e riconoscere il problema.
Spostiamoci sulla nuova geopolitica tanto influenzata dai dati e dall’AI. Che ruolo sta giocando l’Europa?
I dati sono il nuovo petrolio. L’Europa se n’è resa conto tardi e ora vive una sorta di ansia di recupero. Questa ansia sta sfociando in una deregolamentazione estrema su aspetti che, secondo me, non dovrebbero essere deregolamentati. L’unica vera qualità che l’Europa poteva vantare era la protezione. Né la Cina né gli Stati Uniti hanno questa priorità. Ma questa ansia di non restare indietro sta portando l’Europa verso un vicolo cieco, perché l’Europa non ha le risorse degli Stati Uniti. Tutta la filiera computazionale è in mano americana, quindi devi necessariamente passare da loro. Il risultato è che l’Europa rischia di diventare una proxy degli Stati Uniti, mettendo a rischio la propria popolazione nell’uso di questi sistemi. Certo, capisco l’esigenza di attrarre capitali e facilitare l’imprenditoria, ma la domanda è: a che rischio?
Molti vedono nell’AI Act e nel Digital Omnibus la risposta europea alla pressione di Stati Uniti e Cina. Questa strategia la convince?
Non del tutto. Il problema, secondo me, è che l’Europa sta reagendo più per ansia che per visione. C’è la consapevolezza di essere rimasta indietro e questo sta portando a una spinta verso la deregolamentazione su aspetti che, invece, non dovrebbero essere deregolamentati. L’unica vera qualità distintiva che l’Europa aveva rispetto a Stati Uniti e Cina era la protezione delle persone, dei diritti, dei dati. È una cosa che né gli Stati Uniti né la Cina hanno mai avuto come priorità. Ma oggi questa qualità rischia di essere persa proprio nel tentativo di rincorrere la competitività. Il risultato è che l’Europa sta andando verso un vicolo cieco. Da un lato cerca di rendere più facile la compliance per attrarre capitali, dall’altro però non ha le risorse strutturali degli Stati Uniti. Tutta la filiera computazionale è in mano americana, quindi l’Europa è costretta a passare da lì. In questo modo rischia semplicemente di diventare una sorta di estensione, una proxy, del modello statunitense.
In concreto, cosa non sta funzionando nell’impostazione dell’AI Act?
Secondo me il primo problema è che manca un vero chiarimento sugli standard tecnici. Si parla molto per principi, ma non si entra abbastanza nel merito di cosa significhi davvero audit, controllo, verifica. Senza standard tecnici seri e verificabili, tutto resta molto astratto. Il secondo problema riguarda la compliance. È giusto renderla più semplice per le piccole aziende, ma questo non dovrebbe significare perdere la tracciabilità, soprattutto nei casi ad alto impatto. Quello che invece sta succedendo è che si sta cercando di rendere la compliance più facile soprattutto per le grandi aziende, per le big tech. E questo, alla fine, è un danno per tutti. Il terzo punto è il coordinamento normativo. L’AI Act dovrebbe dialogare in modo molto più chiaro con il Gdpr e con le altre normative esistenti. Così com’è, il rischio è la creazione di tante zone grigie, di punti poco chiari e quindi facilmente manipolabili. In un ambito come quello dell’intelligenza artificiale, questo è particolarmente pericoloso.
Che contributo può offrire l’etica islamica al dibattito sull’AI?
L’etica islamica fa una cosa che l’etica occidentale, soprattutto quella secolare, non fa: mette l’individuo al centro di una collettività. L’individuo non esiste come entità separata dal resto, ma come parte di un tutto e con delle responsabilità verso quel tutto. Questo approccio introduce delle metriche diverse rispetto a quelle che usiamo oggi. Non si valuta solo il risultato complessivo o l’efficienza media, ma anche l’impatto sulla società e su chi viene lasciato indietro. Quando si crea un modello di intelligenza artificiale, si misclassificano necessariamente delle persone. È inevitabile. Penso, per esempio, ai sistemi di credit scoring, è inevitabile che qualcuno venga escluso dall’accesso a un prestito. Nell’etica islamica questa esclusione non può essere accettata senza un passaggio successivo. Se lasci indietro qualcuno, devi necessariamente avere uno step in cui vai a controllare se quella persona è stata classificata correttamente o meno. Se questo passaggio non esiste, il modello non può essere utilizzato, perché il fine non giustifica i mezzi.
È possibile integrare questi principi nella programmazione dei modelli?
Secondo me sì, almeno su due livelli. Il primo è integrare questi principi nelle metriche che già oggi utilizziamo per valutare i modelli, come la demographic parity o altre metriche di fairness. Il secondo livello è introdurre un doppio controllo. È vero che questo rende tutto più scomodo, più complesso e più costoso, ma diventa necessario se vogliamo davvero tutelare l’individuo. Il problema è che oggi abbiamo bisogno di processare enormi volumi di dati, numeri e persone. Questo porta a perdere quella spinta a ricontrollare, a verificare se una decisione è corretta o meno. Così la persona che viene lasciata indietro diventa invisibile. Nell’etica islamica, invece, fare un danno a un singolo equivale a fare un danno all’intera comunità. Questo dà al valore dell’individuo un peso completamente diverso.
Minori, social e intelligenza artificiale. Servono più divieti o una diversa educazione?
Secondo me la direzione che si sta prendendo in alcuni Paesi, come l’Australia, cioè vietare l’accesso ai social ai ragazzi, è sbagliata. Il proibizionismo non ha mai funzionato: risolve il problema per poco tempo e poi tutto torna come prima. Bisogna invece puntare sull’educazione alle tecnologie, compresa l’intelligenza artificiale, e farlo il prima possibile, già dalle elementari. I ragazzi devono capire che strumenti hanno in mano, come funzionano e perché danno determinate risposte. Devono capire che non sono strumenti affidabili in senso assoluto. E poi bisogna educare anche i genitori. Quando dico che le foto dei minori pubblicate sui social vengono utilizzate per addestrare i modelli di intelligenza artificiale, molti rimangono scioccati. Questo dimostra quanta poca consapevolezza ci sia oggi. Serve educazione sia per i ragazzi sia, soprattutto, per gli adulti.
