Surprise : dans le recrutement, les IA discriminent encore plus que les humains

26 janvier 2022 |

Quand il s’agit de recruter, les IA et autres algorithmes ne sont pas à l’abri des biais, ni de la discrimination, contrairement aux idées reçues.

YAGGO

LINKEDIN – EMAIL

Visiblement, les IA sont encore plus biaisées que les humains. Et le plus drôle, c’est que l’on n’a pour l’instant aucune idée de la marche à suivre pour corriger le problème.

Imaginez la scène : vous avez toujours rêvé de bosser pour, euhm, disons la dernière start-up Poitevine du moment.

Leur pitch qui mêle meta-NFT à du dropshipping de charentaises en Web3 est un peu confus, mais qu’à cela ne tienne : l’univers entrepreneurial français est conquis. Même Emmanuel Macron y est allé de son post Linkedin saluant ce “succès régional à résonance internationale”.

Alors direction les offres pour poser votre curriculum sur la première opportunité d’assistant commercial que vous percevez. Sauf que même pas 5 secondes après votre candidature, vous avez déjà un retour.

L’efficacité aquitaine.

À l’autre bout de la notif’, on vous signale que votre profil ne colle pas. En effet, l’algorithme maison vient d’analyser 351 221 CV d’assistants commerciaux et a jugé que les plus performants d’entre eux possèdent précisément toutes les qualités qui vous manquent. En point d’orgue de cette expérience du turfu, un tout petit message en bas de ce retour glacial conclut l’échange avec la plus grande des bienveillances :

“Merci de ne pas repostuler”

On grossit le trait, mais certains et certaines voient en cette histoire notre avenir. Proche.

Tellement proche que des boîtes comme Amazon ont déjà adopté non seulement le recrutement prédictif, mais également le management automatisé, avec toutes les casseroles que cela a pu engendrer : personnes renvoyées aléatoirement, discriminations sexistes automatisées à l’embauche, “mon manager est une IA qui me flique 24h/24”…

Dans Terminator, les robots veulent nous tuer.
En 2022, ils veulent juste nous recruter.
Et nous manager.
Et nous virer, aussi.

Sarah Connor se la coulait douce en fait.

L'IA dans le recrutement, un ami qui vous veut du bien (sur le papier)

C’est une légende qui a la dent dure : les algorithmes, lorsqu’ils sont bien conçus, seraient totalement neutres, incapables de discriminer ou de subir l’influence de différents biais qui obscurcissent le jugement des êtres de chair et de sang.

Dès lors, il serait logique de remplacer -progressivement- l’humain par une technologie capable de passer outre les clichés et les a priori, dans le but d’arriver à une forme de méritocratie indiscutable.

Oui, enfin bon.

Si le traitement automatisé des candidatures possède de nombreux avantages, comme :

Les avantages de l’automatisation

– La possibilité d’établir des screenings ultra rapides lorsque les volumes sont importants

– La capacité de considérer les profils sans CV, ou sans focus sur les diplômes ou les cursus scolaires dits prestigieux

– La baisse de l’implication des recruteurs sur des tâches très chronophages, ce qui fait économiser du temps et de l’argent

– L’amélioration de l’expérience candidat pour les postulants ayant été sélectionnés

…les inconvénients, eux, sont au moins tout aussi nombreux. Mais beaucoup plus terrifiants.

Problème n°1 : c’est (moralement) illégal

Sur ce point, le RGPD est clair, notamment par son Article 22 : toute personne peut refuser de “faire l’objet d’une décision fondée exclusivement sur un traitement automatisé”.

Enfin, sauf… si elle donne son accord.
Pas son accord réel, explicite et compréhensif, non.
L’accord façon internet : c’est à dire cocher une case sur un formulaire. La fameuse acceptation des CGU que personne ne va lire, et qui annoncent qu’en cliquant sur cette boite, vous vendez votre âme au démon.

Problème n°2 : c’est en demander beaucoup trop aux candidats

Lorsqu’un processus de candidature s’affranchit du cheminement habituel CV + lettre de motivation, l’expérience candidat est logiquement chamboulée.
C’est particulièrement vrai pour les sites proposant de simples variations du test de personnalité MBTI pour construire un profil. Postuler demande un investissement de plusieurs dizaines de minutes pour répondre à au moins une cinquantaine de questions.

De plus, dans notre Baromètre de l’Expérience Candidat, sur tous les postulants interrogés, la moitié d’entre eux ont affirmé ne pas vouloir passer plus de 10 minutes à postuler à une offre. Pire, pour 17% du panel, être obligé de devoir passer un test de personnalité constituait un frein à la candidature.

Problème n°3 : cela crée des profils inemployables

Pas de place pour les B-players dans un monde automatisé. En ne faisant exister que les candidatures qui répondent à un cahier des charges précis, toute une majorité silencieuse devient invisible, et ce, même sur les postes moins stratégiques.

Problème n°4 : cela trahit une vision unilatérale

Pour les outils qui se basent uniquement sur le CV, le compte Linkedin ou tout autre document “fermé”, le jugement de valeur du candidat est hyper réducteur. Il ignore les soft skills, la personnalité, le vécu, l’ambition, le potentiel, la motivation, les valeurs… On est dans le catastrophique de bout en bout.

Problème n°5 : c'est dire non à l'instinct

Vous souvenez-vous de l’entretien de Will Smith dans “À la Poursuite du Bonheur” ou celui de Mike Ross dans “Suits” ?

Beaucoup d’histoires incroyables (et non fictionnelles) se sont créées sur des coups du sort. Des embauches de personnalités atypiques, ou hors des cases, qui se sont avérées incroyables… alors qu’elles auraient impitoyablement été filtrées par des algos.

Problème n°6 : c'est refuser d’investir dans l’avenir

Dans la continuité de l’exemple précédent, un recrutement est aujourd’hui souvent perçu comme la recherche d’un collaborateur parfait.

Cette utopie fait passer les entreprises à côté de nombreux éléments qui, dans leur évolution, auraient pu s’avérer plus performants que ceux qui ont été engagés.
Et bien entendu, lorsque l’on parle de recrutement prédictif, tous les prospects ne correspondant pas au profil type le jour J sont ignorés.

Problème n°7 : c'est ignorer le fait que les IA peuvent être flouées

Par définition, un test de personnalité n’est pertinent que si les réponses apportées sont honnêtes. Mais comment s’en assurer ? Surtout quand certaines questions laissent clairement transparaître des bons choix et des mauvais ?

La solution, pour certains outils, est de chronométrer la performance. La saisie la plus rapide serait la plus sincère. Sauf que, non seulement ceci est difficile à prouver, mais :

– Cela engendre un stress non nécessaire chez le candidat, qui influence ses choix
– Cela force une perception unique sur des données pourtant multifactorielles (ex : vous pouvez simplement prendre du temps à répondre car vous faites autre chose en même temps, réfléchissez à votre réponse, ou votre voisine a sonné à la porte ; mais pour l’outil, il n’y a qu’une raison : vous mentez)
– Cela crée une discrimination touchant les profils qui ne sont pas dans les normes définies par l’algorithme (handicap physique ou mental provoquant des réponses longues)

Aparté : Tay et le machine learning

Le machine learning est la capacité pour un algorithme à recueillir des données et apprendre de celles-ci.

En ayant l’esprit un poil pervers, il devient ainsi possible de conditionner ce qu’apprend la machine lorsque celle-ci n’est pas en circuit fermé, dans le but d’orienter ses conclusions.

C’est exactement ce qui est arrivé au chatbot de Microsoft, Tay, en 2016.

Tay était une expérimentation simple visant à promouvoir une technologie de conversation automatisée, sous la forme d’un compte Twitter dédié.

Sauf que les bonnes intentions n’ont même pas duré 24 heures.
24 heures. 3600 minutes.

C’est même moins que cela, car moins d’un jour après son lancement, le bot s’est mis à tweeter sans vergogne ce que Goebbels aurait sûrement diffusé sur son feed si l’oiseau bleu existait en 39.

"Tay" went from "humans are super cool" to full nazi in <24 hrs and I'm not at all concerned about the future of AI pic.twitter.com/xuGi1u9S1A
— gerry (@geraldmellor) March 24, 2016

Dans un autre domaine, la répétition d’un tel schéma est possible. Il suffit que l’intelligence artificielle se serve de mauvaises données pour que, forcément, elle en tire les mauvaises conclusions.

Problème n°8 : c'est dire non à la transparence

Le candidat ne sait jamais qu’il est perpétuellement jaugé et chronométré (dans le cadre d’un test), ou “trié” sur le volet.

Tout se passe en coulisses.

Il ne sait pas quels critères sont importants… ou éliminatoires.

Et les données utilisées pour nourrir les algorithmes sont la propriété exclusive des entreprises, qui peuvent donc définir des cadres totalement illégaux sans que personne n’en sache rien.

On pourrait continuer pendant des heures et énumérer 50 autres soucis. Mais tout cela reste de l’ordre du détail.

L’argument principal, lui, est beaucoup plus explosif.

C’est simple : le problème principal que rencontrent les algorithmes est paradoxalement… humain.

Car la machine n’existe pas d’elle-même, elle est programmée par des individus, et, même dans le cadre d’un processus de machine learning, elle demeure nourrie de données fournies par les humains.

Données qui peuvent être déjà biaisées.

Avant tout traitement.

Pour approfondir

Et si on (re)connectait les recruteurs avec les candidats ?

Mick Nertomb 9 mars 2022

On doit vraiment commencer à parler de la discrimination par la personnalité

Mick Nertomb 19 janvier 2022

Machine (learning) infernale

C’est un article de la Revue Technologique du MIT qui, avec fracas, remet les points sur les I : les intelligences artificielles discriminent parce que les données qu’elles récoltent ou utilisent sont déjà biaisées.

Des biais qui se faufilent à plusieurs stades précis :

Des biais s'infiltrent dès la création de l’outil...

Une entreprise matchant des candidats avec des postes ouverts ira chercher à définir une potentielle “employabilité” des postulants. Un résultat final permettant de dire “cet individu est plus à même de performer que celui-ci”.

Mais qu’est-ce qui constitue cette employabilité ? Comment la définir ? Comment la chiffrer pour la rendre exploitable ?

Cette transcription va toujours refléter l’intention de l’entreprise plutôt que la réalité, car la volonté est d’arriver à un résultat donné. Un peu comme certains chiffres d’une étude peuvent être tournés dans un sens ou dans l’autre.

...et perdurent durant la collecte de données...

Ici, on regarde ce qui constitue un excellent collaborateur. Mais ce regard peut déjà être préjudiciable.

Simple exemple : en recueillant des données pour constituer le développeur parfait, à partir du pool actuel, il existera forcément un déséquilibre entre le nombre d’hommes jugés exemplaires, et le nombre de femmes. Simplement car le milieu tech n’est pas connu pour sa parité. Cette sous-représentation va donc être interprétée.

Et c’est exactement ce qui s’est passé chez Amazon, comme le révèle un article sur les égarements de l’ATS prédictif du géant Américain.

“Dans les faits, le système d’Amazon a considéré, à partir des données, qu’il était préférable de ne sélectionner que des candidats masculins. Il a donc appliqué une pénalité à tous les CV féminins, ou ceux qui mentionnaient certains mots-clés genrés comme “Capitaine d’un club d’échecs féminin”. Il a aussi dévalué toutes les formations, cursus ou programmes à forte représentation féminine.”

Mais comment l’algorithme est arrivé à cette conclusion ?

Simplement parce qu’il avait été programmé pour retenir les expressions les plus présentes sur les profils des meilleurs prospects, et que l’immense majorité de ces termes étaient utilisés par des hommes.

...et leur utilisation

C’est le point le plus sensible. Quelles data l’intelligence artificielle doit prendre en compte pour fomenter sa décision ? Les années d’expérience ? Le niveau d’éducation ? Des résultats à un test de personnalité ? Le genre ?

Qu’est-ce qui constitue réellement un facteur de réussite dans un poste précis ?

C’est incroyablement difficile à jauger, et cela est spécifique à chaque poste, dans chaque industrie, et chaque entreprise. Si bien qu’arriver à un consensus est quasiment impossible.

Étant donné que la majorité des IA sont entraînées pour recruter vite et pour pas cher, les metrics les plus populaires sont quasiment toujours centrées sur la performance pure (déjà difficile à juger sans biais mais passons), ce qui, par défaut, valorise une infime catégorie de personnes, répondant à des traits de personnalité très précis.

Et voilà comment vous créez de la discrimination.

Discrimination & IA : peu de solutions disponibles

Le problème de cette situation, c’est qu’il est quasiment impossible de constater les biais réels de l’IA sans résultats. Sans avoir lancé la machine.

Imaginez devoir vérifier qu’une arme soit chargée ou non, et le seul moyen d’être fixé serait de presser la détente. Avec le canon sur votre tempe.

Visualisez donc l’ambiance chez Amazon, quand les ingénieurs ont découvert qu’ils avaient créé un bot ouvertement sexiste.

“Après ce nouvel échec, la direction a jugé qu’il était plus simple de tout balancer à la poubelle et de revenir à des procédés plus humains.”

Prenez aussi le temps de penser à l’atmosphère dans les bureaux quand, en voulant s’occuper de la “complication”, ils l’ont en fait accentuée.

Leur solution était d’empêcher l’algorithme de considérer des mots comme “femme”. Mais c’était trop facile. En bon Skynet, l’outil s’est adapté et a continué sa croisade en s’attachant à mettre en valeur les profils qui utilisaient le plus de termes non genrés… mais toujours utilisés principalement par les hommes.

Après ce nouvel échec, la direction a jugé qu’il était plus simple de tout balancer à la poubelle et de revenir à des procédés plus humains. Une illumination tardive mais bienvenue.

Personne ne pense aux biais

Autre aspect difficile à avaler mais bien réel : étant donné que les IA sont avant toute chose construites pour atteindre une performance donnée, la considération des biais n’entre jamais vraiment dans le processus de création.

Même chose pour les différents contextes sociaux et démographiques.

Recruter en milieu rural, dans des quartiers riches ou des zones HLM est assez différent. Les attentes, les profils… pas mal de choses divergent. Mais là encore, peu pensent à s’adapter.

Un enjeu de diversité et d'inclusion

L’inclusion, c’est ouvrir ses portes et donner sa chance à tous et à toutes.
L’automatisation, c’est mettre automatiquement les gens dans des cases pour mieux les classer.

C’est peut-être nous mais l’alignement ne semble pas forcément si optimal.

Pourtant, de nombreux partisans avancent le contraire, parfois à raison :

Une IA se moque de l’origine, du statut, de la couleur de peau ou du genre (bon, sauf celle d’Amazon), et si ces données lui sont présentées comme étant non pertinentes, elle n’en fera rien.

Dans une entreprise hypothétique où 100% des salariés auraient été embauchés par une intelligence artificielle se basant sur des tests de personnalité, le melting pot serait réel.

Mais cette vision est représentative de toute l’imagerie réductrice qui entoure les sujets de diversité et d’inclusion. L’idée que les problématiques de D&I sont purement “visuelles”, limitées à des considérations démographiques.

En fait, dans cette boite IA-friendly, vous aurez des clones de tous les horizons. Mais qui resteraient des clones car : ils penseront tous de la même façon, auront le même vécu, la même approche des choses, la même vision, les mêmes capacités, les mêmes raisonnements et chemins de pensée… et ce pour tous les métiers.

L’enfer. L’opposé total de la diversité.

Le pire est que cette société ferait perdurer les biais plutôt que de les casser.

Tous les commerciaux seraient des ambitieux pragmatiques sans empathie.
Les communicants des extravertis enjoués et euphoriques.
Les membres de la direction des calculateurs froids et manipulateurs.

Et il serait impossible de rejoindre l’entreprise et ces postes sans partager ces caractéristiques.

Cela vend du rêve, n’est-ce pas ?

Et maintenant on fait quoi ?

Maintenant, on travaille. Et on attend.

La bonne nouvelle, c’est que de nombreux spécialistes et entreprises travaillent pour que les intelligences artificielles ne reportent pas nos biais sur leurs résultats.

On pense par exemple à Gender Shades, AI Fairness 360 et même Google.

Cependant, aujourd’hui, la technologie n’est pas au niveau attendu pour faire autre chose que soutenir les recruteurs sur les volumes. Elle ne doit pas prendre de décisions ou remplacer l’humain. Jamais. Et beaucoup partagent cet avis :

"Je n’accorderai certainement pas ma confiance à une IA pour prendre une décision en matière de recrutement. La technologie n’est simplement pas encore prête."

John Jersin

Ancien Vice président de LinkedIn Talent Solutions

Andrew Selbst, un chercheur au Data & Society Research Institute de New York, avait établi une comparaison entre la discrimination par IA, et celle par les humains, analysant qu’elles suivaient la même progression, la même logique.

Un point de vue pertinent qui soulève quand même une question :

Et si, avant de se prendre la tête à réparer nos machines, on commençait déjà par nous améliorer nous mêmes (pour éviter de les influencer) ?