Quando l’AI discrimina: il caso Amazon e le nuove regole europee

Un’intelligenza artificiale per selezionare i migliori talenti, senza pregiudizi e senza errori umani. Sulla carta, l’idea sembrava rivoluzionaria. Peccato che, nella realtà, il sistema sviluppato da Amazon si sia rivelato sessista: penalizzava i CV delle donne e favoriva quelli degli uomini.

Un problema che l’azienda non è riuscita a risolvere e che ha portato all’abbandono del progetto. Ma cosa sarebbe successo se Amazon avesse provato a utilizzare questo algoritmo nell’Unione Europea? Oggi, con il nuovo AI Act, sarebbe stato illegale.

Il caso Amazon: quando l’AI impara i pregiudizi

Tra il 2014 e il 2017, Amazon ha sviluppato un sistema di intelligenza artificiale per automatizzare il processo di selezione del personale. L’obiettivo era semplice: creare un algoritmo capace di analizzare i CV e identificare i candidati più idonei, basandosi sulle assunzioni passate.

Ma c’era un problema. Storicamente, il settore tech è dominato da uomini e l’AI, addestrata su questi dati, ha imparato che un candidato “ideale” era, appunto, un uomo. Il risultato? Il software ha iniziato a penalizzare i CV femminili, abbassando il punteggio a chiunque avesse studiato in college femminili o avesse esperienze legate a gruppi per i diritti delle donne.

Amazon ha cercato di correggere l’errore, ma senza successo: il pregiudizio era ormai radicato nel sistema. Nel 2017, l’azienda ha abbandonato il progetto, temendo conseguenze legali e danni reputazionali.

Se fosse accaduto in Europa? L’AI Act lo vieta

Se questo sistema fosse stato utilizzato oggi nell’Unione Europea, Amazon avrebbe avuto seri problemi legali.

L’AI Act, la nuova normativa europea sull’intelligenza artificiale, classifica i sistemi di AI usati per il reclutamento come “ad alto rischio”. Ciò significa che devono rispettare rigide regole di trasparenza, controllo e affidabilità.

Due punti chiave del regolamento avrebbero reso il sistema di Amazon inaccettabile:

🔴 Articolo 5: vieta l’uso di AI che possa creare discriminazioni ingiustificate, in particolare nei processi di selezione del personale.
🔴 Articolo 10: impone che i dati utilizzati per addestrare un algoritmo siano privi di bias e rappresentativi della realtà, per evitare discriminazioni sistemiche.

Il problema del software di Amazon era proprio questo: rifletteva e amplificava i pregiudizi del passato, discriminando sulla base del genere. Se l’azienda avesse operato in Europa, avrebbe dovuto dimostrare che il sistema era equo, trasparente e conforme alle regole UE — cosa che, nei fatti, non era.

Come evitare che l’AI discrimini?

Il caso Amazon è un monito per tutte le aziende che vogliono integrare l’AI nei loro processi di selezione. Ecco alcune best practice per evitare gli stessi errori:

✅ Dati rappresentativi: gli algoritmi devono essere addestrati su dataset bilanciati, che non riflettano solo le assunzioni del passato.
✅ Monitoraggio costante: bisogna analizzare regolarmente gli output dell’AI per individuare e correggere eventuali bias.
✅ Supervisione umana: l’intelligenza artificiale deve supportare la selezione, non sostituire il giudizio umano.
✅ Conformità normativa: per chi opera in Europa, rispettare l’AI Act e il GDPR non è un’opzione, ma un obbligo.

L’intelligenza artificiale può essere uno strumento straordinario per il recruiting, ma solo se usata con responsabilità. Il rischio, altrimenti, è quello di trasformare vecchi pregiudizi in discriminazioni automatizzate, con conseguenze non solo etiche e reputazionali, ma anche legali.