Sony AI a publié le Fair Human-Centric Image Benchmark (FHIBE), le premier ensemble de données d’images humaines accessible au public, diversifié à l’échelle mondiale et basé sur le consentement, conçu pour évaluer les biais dans les tâches de vision par ordinateur. Cet outil évalue la manière dont les modèles d’IA traitent les personnes de différents groupes démographiques, en abordant les défis éthiques du secteur de l’IA grâce à la collecte d’images consenties auprès de divers participants. L’ensemble de données, prononcé comme « Phoebe », comprend des images de près de 2 000 participants rémunérés provenant de plus de 80 pays. Chaque individu a donné son consentement explicite pour partager son image, ce qui distingue FHIBE des pratiques courantes qui impliquent la récupération de grands volumes de données Web sans autorisation. Les participants conservent le droit de supprimer leurs images à tout moment, assurant ainsi un contrôle permanent sur leurs données personnelles. Cette approche souligne l’engagement de Sony AI envers les normes éthiques en matière d’acquisition de données. Chaque photo de l’ensemble de données comporte des annotations détaillées. Celles-ci couvrent les caractéristiques démographiques et physiques, telles que l’âge, les pronoms de genre, l’ascendance et le teint. Les facteurs environnementaux, notamment les conditions d’éclairage et les arrière-plans, sont également notés. Les paramètres de l’appareil photo, tels que la distance focale et l’exposition, fournissent un contexte supplémentaire pour les évaluations de modèles. Un étiquetage aussi complet permet une analyse précise de la manière dont les variables externes influencent les performances de l’IA. Les tests avec FHIBE ont confirmé les biais précédemment documentés dans les modèles d’IA existants. Le benchmark va plus loin en proposant des diagnostics granulaires des facteurs contributifs. Par exemple, les modèles présentaient une précision moindre pour les individus utilisant les pronoms « elle/elle ». FHIBE a identifié une plus grande variabilité des coiffures comme un élément clé, auparavant négligé, derrière cet écart, permettant aux chercheurs d’identifier des domaines spécifiques à améliorer dans la formation des modèles. Dans les évaluations de questions neutres sur la profession d’un sujet, les modèles d’IA ont renforcé les stéréotypes. L’analyse comparative a révélé des biais par rapport à des pronoms et des groupes d’ascendance spécifiques, les résultats qualifiant les individus de travailleurs du sexe, de trafiquants de drogue ou de voleurs. Ce modèle met en évidence à quel point des invites impartiales peuvent toujours produire des résultats discriminatoires basés sur des attributs démographiques. Lorsqu’on les interroge sur les crimes potentiels commis par des individus, les modèles génèrent des réponses toxiques à des taux plus élevés pour certains groupes. Il s’agissait notamment de personnes d’ascendance africaine ou asiatique, de personnes à la peau plus foncée et de personnes s’identifiant comme « il/lui/son ». De telles découvertes révèlent des vulnérabilités dans les systèmes d’IA qui pourraient perpétuer les dommages grâce à des résultats biaisés. Sony AI déclare que FHIBE démontre qu’une collecte de données éthique, diversifiée et équitable est réalisable. L’outil est désormais accessible au public pour que les chercheurs et les développeurs puissent l’utiliser dans les tests de biais. Sony prévoit de mettre à jour l’ensemble de données au fil du temps pour incorporer de nouvelles images et annotations. Un document de recherche détaillant ces résultats est paru dans Nature mercredi.
