Bouverot. A et al., Institut Montaigne, Rapport, mars 2020, 108 p.

Le rapport commence par relever que les algorithmes sont à la fois catalyseurs et inhibiteurs de discriminations. Car, dit-il, les inquiétudes liées aux conséquences de l’intelligence artificielle se multiplient pour notre travail, nos médias, nos démocraties.

Si les algorithmes sont parés des atouts de la neutralité et de l’objectivité, ils sont toutefois intégrés dans nos sociétés, pour en prolonger les défauts et les inégalités structurelles.

Dans nos sociétés occidentales, « la diffusion des algorithmes est concomitante d’une plus grande prise en compte des discriminations et plus largement des désavantages structurels entre les groupes d’individus. Que l’on parle de genre, d’origine ethnique, d’orientation sexuelle ou d’âge, notre sensibilité aux inégalités entre groupes grandit ».

Des organisations de nombreux secteurs s’essayent à déployer des algorithmes pour améliorer leurs décisions, les objectiver, et dans certains cas prévenir des discriminations :

°- Dans le recrutement, « les leaders mondiaux de l’intérim mettent en place des algorithmes pour proposer à leurs conseillers de recrutement les profils qui paraissent les plus adaptés à une offre d’emploi. L’algorithme intègre généralement les compétences des candidats et la satisfaction de leurs employeurs passés. Il est capable de se détacher des profils types vers lesquels les employeurs se tournent généralement et de réduire les discriminations à l’embauche ».

Ainsi, lorsqu’on demande certains prérequis, on exclut de fait des candidats qui viennent souvent de catégories défavorisées. Des algorithmes « qui partent des compétences et non plus seulement des expériences peuvent aider à surmonter ces problèmes ».

°- Dans l’immobilier, l’on remarque qu’à « profil identique, un candidat d’origine maghrébine qui se déclare fonctionnaire, aura une réponse du propriétaire dans 15,5 % des cas, contre 42,9 % pour un candidat d’origine française qui envoie le même signal de stabilité professionnelle ».

°- Dans la justice, certains accusent les algorithmes de reproduire les mêmes discriminations quand d’autres y voient l’opportunité d’en sortir. Actuellement, « des cliniciens sont chargés d’évaluer le risque de récidive d’un suspect, pour aider le juge à décider si le suspect peut être libéré sous caution. Ces évaluations cliniques surévaluent les risques qu’un suspect afro-américain récidive sous caution et amènent donc les juges à accorder moins de libérations sous caution aux afro-américains qu’au reste de la population. Selon certaines mesures, ces évaluations algorithmiques sont toujours au désavantage des suspects afro-américains ».

Les algorithmes et le Big Data sont, pour certains, des « armes de destruction mathématique », car ces outils qui, « sous couvert de formules mathématiques objectives, renforcent les inégalités et les discriminations, amplifient les effets des inégalités ».

En 2015, Amazon a mis en place un algorithme pour faciliter le recrutement des talents. Entraîné sur des centaines de milliers de CV reçus par Amazon pendant dix ans, l’algorithme attribuait une note allant de 1 à 5 étoiles. Mais « l’algorithme a été rapidement suspendu en raison de son incapacité à sélectionner les meilleurs candidats et de son biais à l’encontre des femmes. L’algorithme attribuait fréquemment des mauvaises notes à des profils de femmes qualifiées et proposait systématiquement des candidats homme sous-qualifiés ».

Il défavorisait ainsi les CV contenant les mots « women’s », y compris «women’s chess club captain », et favorisait les CV contenant « executed » ou « captured », plus fréquents dans les CV masculins. C’est la qualité des données d’entraînement qui a été mise en cause, les hommes constituant l’écrasante majorité des cadres recrutés dans le passé, tandis que de nombreuses femmes étaient surqualifiées pour leur poste. L’algorithme avait ainsi appris à sous-estimer le CV des femmes.

L’exclusion ou le traitement défavorable à certains groupes préexiste pourtant aux algorithmes. Le racisme au crédit, le sexisme à l’embauche n’ont pas attendu le troisième millénaire. Or, « à supposer que les algorithmes ne soient que des outils neutres, ils pourraient toujours perpétuer ou consolider une discrimination antérieure. Ils permettraient aussi de mesurer avec précision un biais qui pouvait être connu, mais dont l’ampleur restait cachée. Chaque nouvel algorithme est ainsi l’occasion de révéler un peu plus les formes que prennent les inégalités dans nos sociétés ».

A l’ère du Big Data, des dizaines de variables peuvent être fournies à un algorithme, charge à lui de trouver les combinaisons et les pondérations les plus appropriées.

Rubrique « Lu Pour Vous »

27 février 2025