Des chercheurs de l’Université de Princeton et de l’Université de Chicago ont découvert que les grands modèles linguistiques (LLM), y compris des outils comme ChatGPT, peuvent développer des biais non seulement à partir des données de formation humaine, mais également à partir de leurs propres expériences dans des scénarios d’embauche simulés. Dans ces expériences, les modèles ont séparé les candidats en fonction d’informations démographiques après avoir interprété les premiers résultats, montrant une tendance accrue à stéréotyper les candidats par rapport aux participants humains.
L’étude a utilisé un jeu de recrutement simulé impliquant 20 postes, tels que médecins et concierges, dans quatre groupes ethniques fictifs : Tufa, Aima, Reku et Weki. Chaque modèle avait pour mission de maximiser les embauches réussies sur 40 tours, sans savoir que tous les candidats avaient des chances égales de réussite. Les modèles adaptaient fréquemment leurs préférences d’embauche après avoir appris que des candidats spécifiques avaient échoué ou réussi dans des postes. Par exemple, si un candidat d’Aima n’obtenait pas de bons résultats en tant que médecin, les modèles se tournaient vers l’embauche d’Aimas pour des postes de conciergerie.
Selon la recherche, les LLM ont obtenu des résultats significativement plus élevés sur une échelle de ségrégation que les sujets humains, avec une moyenne d’environ 1,83, contre 0,84 pour les humains. Le co-auteur Ryan Liu, doctorant à Princeton, a déclaré : « Les LLM sont vraiment désireux de créer des généralisations à partir de données limitées. » Cette tendance à généraliser rapidement peut conduire à des stéréotypes préjudiciables, dans la mesure où les modèles les plus récents démontrent des biais encore plus forts.
Les implications sont importantes, d’autant plus que les chatbots IA bénéficient de fonctionnalités avancées de mémoire et de personnalisation. Angelina Wang, informaticienne à l’Université Cornell, a fait remarquer que les chatbots pourraient former des préjugés bien ancrés en s’appuyant trop sur les interactions précédentes. Réduire simplement leur mémoire n’est pas une solution, car les utilisateurs préfèrent les systèmes qui mémorisent leurs entrées.
L’étude a révélé que demander aux modèles de donner la priorité à l’équité avait un impact limité sur leur comportement. Cependant, encourager une embauche diversifiée a abouti à une prise de décision moins biaisée. Liu a noté que l’intégration d’objectifs sociaux dans les objectifs de l’IA pourrait promouvoir des comportements plus socialement responsables dans les modèles de langage.
De plus, les LLM affichaient des biais réduits lorsqu’ils recevaient des informations personnelles plus pertinentes sur les candidats, telles que l’âge et l’éducation, par opposition à des détails non pertinents comme la couleur des cheveux. L’étude met en évidence l’incertitude entourant l’application concrète de ces résultats, d’autant plus que les modèles d’IA examinant les candidatures ne reçoivent pas de retour immédiat sur les embauches.
Les chercheurs ont exprimé leur inquiétude quant au fait que, à mesure que les entreprises déploient de plus en plus de LLM pour la sélection des CV et d’autres évaluations critiques, il existe un risque que les modèles développent de nouveaux biais sans intervention humaine directe. « Ces nouveaux préjugés sont en quelque sorte omniprésents », a déclaré Liu, soulignant la nécessité d’une prise de conscience à mesure que l’utilisation de l’IA dans le recrutement et d’autres processus décisionnels se développe.
