Cos’è il bias algoritmico?

Il bias algoritmico è una distorsione sistematica nei risultati di un sistema automatizzato, come un algoritmo o un modello di intelligenza artificiale, che produce esiti ingiustificatamente svantaggiosi per ciò che viene valutato, per esempio persone, gruppi, organizzazioni, territori o contenuti. Ne sono esempi un software di selezione del personale che scarta più spesso le candidate donne o un riconoscimento facciale che sbaglia di più con le persone dalla pelle più scura.

Può emergere anche quando a tutti si applicano le stesse regole: un criterio in apparenza neutro può svantaggiare di fatto alcuni soggetti più di altri. Il diritto europeo chiama questo caso discriminazione indiretta.

Il termine inglese bias significa distorsione o pregiudizio. In statistica designa qualsiasi errore sistematico, anche privo di effetti sulle persone, come un modello di previsione che sovrastima costantemente la domanda di un prodotto; nel caso degli algoritmi ci si riferisce soprattutto agli effetti su chi è coinvolto dalle decisioni automatizzate. Nei bias cognitivi l’errore riguarda il modo in cui ragionano le persone; qui riguarda ciò che un algoritmo produce, anche quando nessuno ha avuto l’intenzione di discriminare.

Nessun algoritmo, infatti, è neutrale per definizione: riflette i dati su cui è stato costruito, le scelte di chi lo ha progettato e il contesto in cui viene usato. Il fenomeno riguarda quindi tanto i software tradizionali basati su regole quanto quelli di machine learning e gli LLM.

Da dove nasce il bias algoritmico?

Il bias può entrare in un sistema in ogni fase: quando si raccolgono i dati, quando si progetta il modello e quando lo si usa. Il NIST, l’istituto statunitense per gli standard e la tecnologia, nella pubblicazione Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (marzo 2022) ne distingue tre categorie:

• bias statistici e computazionali: derivano dai dati e dagli algoritmi, per esempio quando i dati di addestramento non rappresentano in modo equilibrato tutte le persone a cui il sistema si applica;
• bias umani: derivano dalle scelte e dai pregiudizi, spesso inconsapevoli, di chi progetta, addestra o usa il sistema;
• bias sistemici: derivano da disuguaglianze presenti nelle istituzioni e nella società, che i dati storici registrano e il sistema può riprodurre.

Secondo il NIST, gli interventi si concentrano spesso sulla prima categoria, mentre le altre due pesano in modo significativo. Un modello addestrato su decisioni del passato, per esempio, può apprendere anche le disparità contenute in quelle decisioni, senza che nessuno l’abbia previsto.

Quali sono gli esempi più noti di bias algoritmico?

Alcuni casi documentati mostrano come il bias possa emergere in ambiti diversi:

• Selezione del personale: nel 2018 Reuters ha rivelato che Amazon aveva abbandonato un sistema sperimentale di valutazione dei curriculum. Addestrato sulle candidature ricevute in dieci anni, in gran parte maschili, penalizzava i curriculum che contenevano la parola “women’s” (“femminile”);
• Riconoscimento facciale: lo studio Gender Shades di Joy Buolamwini e Timnit Gebru (2018) ha mostrato che tre sistemi commerciali di analisi del volto sbagliavano a classificare il genere fino al 34,7% delle volte con le donne dalla pelle più scura, contro un massimo dello 0,8% con gli uomini dalla pelle più chiara;
• Lavoro tramite piattaforma: con un’ordinanza del 31 dicembre 2020, il Tribunale di Bologna ha giudicato discriminatorio l’algoritmo “Frank” usato da Deliveroo per assegnare i turni ai rider, perché penalizzava anche le assenze dovute a sciopero o malattia;
• Modelli linguistici: uno studio pubblicato dall’UNESCO nel marzo 2024 ha rilevato stereotipi di genere e culturali nei testi generati da GPT-2, GPT-3.5 e Llama 2, che per esempio associavano più spesso le donne a ruoli domestici.

In questi casi nessuno aveva programmato il sistema per discriminare: la distorsione nasceva dai dati, dai criteri scelti per valutare o dal modo in cui il sistema veniva usato.

Come si può ridurre il bias algoritmico?

Eliminare del tutto il bias non è realistico, come riconosce lo stesso NIST: l’obiettivo è individuarlo e ridurne gli effetti lungo tutto il ciclo di vita del sistema. Tra le pratiche più diffuse:

• usare dati di addestramento rappresentativi delle persone e dei contesti a cui il sistema si applica;
• verificare i risultati separatamente per gruppi diversi, prima e dopo la messa in uso;
• mantenere una supervisione umana sulle decisioni che hanno effetti importanti sulle persone;
• coinvolgere nella progettazione competenze e punti di vista diversi, comprese le persone su cui il sistema avrà effetti;
• monitorare il sistema nel tempo, perché dati e contesti cambiano.

In Europa la riduzione del bias è anche un obbligo di legge. L’articolo 10 dell’AI Act chiede ai fornitori di sistemi di IA ad alto rischio, come quelli usati nella selezione del personale o nella valutazione del credito, di esaminare i dati per individuare possibili distorsioni che possano incidere sulla salute e sulla sicurezza delle persone, sui diritti fondamentali o portare a discriminazioni vietate dal diritto dell’Unione, e di adottare misure per prevenirle e correggerle. Per farlo, possono trattare in via eccezionale anche categorie particolari di dati personali, come l’origine etnica, con garanzie specifiche.

Altre risorse per approfondire

• NIST SP 1270: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence – La pubblicazione del NIST che classifica le fonti del bias nell’IA e indica come gestirle.
• Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification – Lo studio di Buolamwini e Gebru sulle disparità di accuratezza nei sistemi di analisi del volto.
• UNESCO: Challenging systematic prejudices – L’indagine del 2024 sugli stereotipi di genere e culturali nei modelli linguistici di grandi dimensioni.
• AI Act, articolo 10: dati e governance dei dati – Gli obblighi europei sulla qualità dei dati e sulla correzione dei bias nei sistemi ad alto rischio.
• Reuters: Amazon scraps secret AI recruiting tool that showed bias against women – L’inchiesta del 2018 sul sistema di selezione del personale sperimentato da Amazon.