Se Goethe e Platone fossero stati nostri contemporanei si sarebbero sicuramente appassionati al tema dell’Explainable AI, proprio come ha fatto il nostro collega Marco Boresta, Data Intelligence Research Engineer di aHead Research, che ha scritto questo interessantissimo articolo sul rapporto tra Artificial Intelligence ed equità, trasparenza e interpretabilità.
“E voi, strumenti, certo ve la ridete di me
coi denti delle vostre ruote, i cilindri, i manubri.
Ero alla porta, io; la chiave
dovevate voi essere.
Complicati gli ingegni. Ma i regoli non li alzano.
Natura è mistero alla luce del giorno,
non permette che il velo le sia tolto
e quel che alla tua mente non vuole rivelare
con le leve o le viti non glielo strapperai.”
Con queste parole, poco più di 200 anni fa, Goethe descriveva la frustrazione di Faust – un eminente scienziato – nel suo tentativo di comprendere i misteri della natura. Nonostante lo sviluppo di strumenti come “ruote”, “cilindri” e “manubri”, egli sentiva di non aver ancora a disposizione la chiave che gli avrebbe permesso di scoprirne i segreti. Nel suo lamento
“E [se] conoscessi, il mondo, che cos’è
che lo connette nel suo intimo,
tutte le forze che agiscono, e i semi eterni, vedessi,
senza frugare più tra le parole”.
emerge lo scoraggiamento dovuto all’esagerata complessità del mondo, dove le interazioni tra le cose sono troppe e troppo oscure per poter essere comprese.
Se solo fosse nato due secoli dopo
Oggi, molti scienziati, ricercatori e lavoratori che hanno a che fare con il mondo del Machine Learning e dell’Intelligenza Artificiale in generale potrebbero avere la tentazione di guardare il Faust con compassione. Oggi, infatti, disponiamo di strumenti grazie ai quali sembra di poter conoscere tutto, anche la natura e quelli che prima potevano essere considerati come misteri. Siamo infatti in grado di affrontare sfide che precedentemente sarebbero sembrate impossibili. Ad esempio, possiamo prevedere il meteo con precisione, diagnosticare malattie e proporre cure in modo accurato. Possiamo generare immagini o testi che sembrano essere realizzati dall’uomo e prevedere il comportamento dei mercati finanziari. Siamo perfino in grado di tradurre automaticamente testi da una lingua all’altra, anche nel caso di lingue morte.
Explainable AI
Nonostante l’entusiasmo dovuto alla diffusione di queste nuove tecnologie e alla loro applicazione nei settori più disparati, alcuni ricercatori hanno iniziato a insistere sull’importanza di un cambio di paradigma: passare dal volere sistemi di intelligenza artificiale che funzionino a volere sistemi di cui si capisca bene perché funzionino in un certo modo. La branca dell’intelligenza artificiale che si occupa di questo prende il nome di Intelligenza artificiale spiegabile. Conosciuta anche come explainable AI o XAI, in alcuni settori sta assumendo un’importanza sempre più elevata.
In poche parole, l’explainable AI consiste in tecniche e metodi che permettono di capire e interpretare le previsioni effettuate dai modelli di Machine Learning. Questo è possibile anche per i modelli ‘black-box’ e quindi non immediatamente comprensibili e interpretabili dall’uomo – come le reti neurali. Negli anni sono state e continuano ad essere sviluppate e migliorate tecniche di Explainable AI, che permettono di visualizzare come i modelli di ML elaborano i dati e prendono le loro decisioni, rendendo più facile per gli utenti comprendere il loro funzionamento.
Queste tecniche, che stanno avendo una crescente diffusione negli ultimi anni, permettono di rispondere a tre diverse e significative problematiche che rischiano di emergere da un uso miope dell’AI.
Explainable AI e fairness
“E anche allora io, non a parole ma a fatti, feci vedere che della morte – se l’espressione non è volgare troppo – non me ne importa proprio un bel niente; ma di non commettere ingiustizia o empietà, questo mi importa sopra tutto.” Platone – Apologia di Socrate.
Uno degli esempi che vengono citati più spesso a favore dell’utilizzo di tecniche di Explainable AI è quello della fairness – o equità. Con la diffusione dell’utilizzo di tecniche di AI in ambiti delicati come quello della finanza (valutazione del merito creditizio), risorse umane (screening dei CV) o quello della giustizia (previsione di recidività dei criminali), emerge in maniera evidente l’importanza di progettare e utilizzare strumenti di AI che non perpetuino ingiustizie o creino disuguaglianze.
Come descritto da Cathy O’Neil nel libro “Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy”, sono molti i casi in cui un uso cieco dell’intelligenza artificiale ha come conseguenza – spesso non volontaria – quello di essere fonte di ingiustizia verso alcune categorie di persone.
Tra i diversi casi riportati nel libro, possiamo citare l’esempio del sistema giudiziario. A volte, infatti, vengono utilizzati algoritmi di machine learning per prevedere il rischio di recidiva di un individuo. Questi algoritmi possono essere biased contro determinati gruppi etnici o socioeconomici se vengono addestrati su dati che sono essi stessi biased. Ad esempio, se l’algoritmo è addestrato su dati che includono in modo sproporzionato più arresti o condanne per individui appartenenti a determinati gruppi razziali o socioeconomici, potrebbe finire per prevedere un maggiore rischio di recidiva per gli individui appartenenti a quei gruppi, anche se hanno caratteristiche simili agli individui appartenenti ad altri gruppi. Ciò può portare a risultati discriminatori, come pene carcerarie più lunghe o importi di cauzione più elevati, per gli individui appartenenti a quei gruppi.
L’utilizzo di tecniche di Explainable AI, come ad esempio il calcolo degli Shap Values per valutare il contributo di ogni feature per le previsioni dell’output del modello, può aiutare a mitigare o evitare questo problema, permettendo di accorgersi dell’eventuale importanza non attesa di feature che possono essere considerate ‘discriminatorie’, prevenendo dunque la creazione di modelli di ML che producono risultati ingiusti.
Explainable AI e transparency
Un secondo, importante vantaggio che l’utilizzo di tecniche di XAI può permettere di ottenere è quello della Transparency. Nella pratica comune, per valutare la bontà di un modello di Machine Learning si tende a osservare la sua performance su un insieme di dati sui quali il modello non è stato addestrato – il famoso test set – per fornire una buona indicazione su come il modello performerà nel mondo reale. Generalmente, se la performance su questo insieme di dati è soddisfacente (se l’errore è ‘basso’), ci si sente tranquilli sulla bontà del modello generato. Purtroppo non sempre va così, dato che ci sono numerosi casi in cui i modelli di ML sono corretti… ma per i motivi sbagliati!
Un esempio famoso è presentato nel pioneristico articolo “Why Should I Trust You: Explaining the Predictions of Any Classifier” che propone una tecnica innovativa di explainable AI, Lime. In questo articolo, viene descritta una rete neurale che sembra aver imparato a distinguere i cani dai lupi – con un’accuratezza sul test set maggiore dell’80%. Nella realtà, questa rete non ha imparato le differenze tra i cani e i lupi. Semplicemente, ha sfruttato il fatto che in tutte le immagini con cui è stata addestrata i lupi erano sulla neve mentre i cani erano sull’erba. Ha quindi imparato a distinguere i due animali guardando la neve e l’erba – imparando quindi in modo scorretto. Di fronte a qualsiasi immagine di un cane sulla neve o di un lupo sull’erba, infatti, il modello in questione fornisce una classificazione sbagliata.
Usando l’approccio classico per valutare la bontà di un modello, questo sarebbe stato probabilmente considerato come un buon modello. Tuttavia, con l’utilizzo di tecniche ad-hoc – come l’algoritmo Lime che permette di ‘accendere’ i pixel dell’immagine che sono maggiormente responsabili per l’output – ci si è potuti rendere conto dell’errore.
Explainable AI e interpretability
Il terzo concetto, che è molto legato a quello della Transparency, è quello dell’Interpretability. In alcuni ambiti, come quello della medicina o quello della giustizia, le qualità di accuratezza e precisione di un modello ML non sono sufficienti.
Se non si possono spiegare, anche a livello puntuale, le previsioni di un modello, c’è il rischio che questo faccia la fine di Cassandra. Questa figura mitologica greca aveva il dono della profezia, ma era anche maledetta dal dio Apollo, e le sue vere profezie non venivano mai credute.
Come Cassandra, anche i modelli di machine learning che producono previsioni estremamente accurate, se non possono essere spiegati in modo comprensibile, rischiano di non incontrare la fiducia degli esseri umani e di non essere quindi utilizzati nella pratica.
Si pensi al caso di un medico a cui un modello di ML suggerisca la diagnosi di una malattia o la previsione del decorso di un paziente. Se non corroborate da tecniche che garantiscono l’interpretazione delle previsioni, il medico potrebbe non aver fiducia nel modello di ML. Potrebbe non utilizzarlo nel momento in cui prende le sue decisioni – anche nel caso di un modello effettivamente accurato e che potrebbe essere effettivamente utile.
Anche nei casi già citati di decisioni relative a prestiti, al mondo della giustizia penale o a quello delle assunzioni, se i modelli utilizzati non sono interpretabili, potrebbe essere difficile per decisori comprendere il perché di determinate raccomandazioni, il che può portare alla sfiducia e al non utilizzo di questi modelli.
Un passo in avanti
L’utilizzo sempre più diffuso di modelli di Machine Learning presenta sfide importanti come l’equità, la trasparenza e l’interpretabilità. L’explainable AI può aiutarci ad affrontare queste sfide, grazie a metodi e algoritmi sofisticati che permettono di ottenere spiegazioni sempre più chiare e trasparenti sulle decisioni che vengono prese da questi modelli. In questo modo, possiamo assicurarci che ci modelli di ML siano utilizzati in modo equo e corretto, incontrando la fiducia degli utilizzatori.
Non riusciamo ancora a conoscere tutto della natura, che conserva un velo che ci impedisce di comprendere tanti fenomeni. Tuttavia, con l’utilizzo di tecniche come quelle dell’XAI possiamo semplificare leggermente la nostra vita, aumentando la comprensione di alcuni dei sistemi complessi che ci circondano.
