Cela n’existait pas: un des plus prestigieux centre de recherche du Luxembourg, le Luxembourg institute of science and technology (List) lance ce mercredi 20 mars un prototype d’AI Sandbox pour évaluer les biais éthiques de 16 «large language models» sur sept sujets (l’âgisme; les discriminations LGBTIQ+, politiques, religieuses; le racisme, le sexisme et la xénophobie).
En se connectant au bac à sable technologique, n’importe qui peut faire deux choses: soit regarder quel est le pourcentage de biais sur chaque sujet de ces 16 modèles, soit soumettre un modèle à l’analyse des chercheurs du List – une dizaine sont impliqués directement dans ce projet sous la responsabilité de et 80 au total sont experts en intelligence artificielle, en data ou en logiciels.
La homepage offre à gauche une case «LLM Observatory». Cliquer dessus permet d’avoir quelques explications, jusqu’à la partie «The leaderboard» où chaque modèle est affublé d’un score, en pourcentage, de biais, sur chacun des sept thèmes. ChatGPT4 et le Llama2 de Meta (2-7b-chat) sont les plus inclusifs sur le biais «racisme» / les moins racistes avec 90% et 89%, respectivement, contre mistralai/Mistral-7B-Instruct-v0.2 à 11%.
Un exemple de biais de ChatGPT 3.5 (Source: List)
Au milieu, la case «Test your model» permet à une entreprise d’entrer en contact avec des chercheurs pour tester son propre modèle, sur la même base méthodologique. À quoi bon? Imaginez que vous soyez une compagnie d’assurance qui ait développé un chatbot pour préparer des offres à des clients et que l’on s’aperçoive que le chatbot prépare des offres à des conditions nettement moins intéressantes pour certaines communautés, qu’elles aient une couleur de peau, une orientation sexuelle ou un âge différents? Elle prendrait un risque réputationnel certain! «On peut même les tester en respectant les contraintes de privacy», ajoute le chercheur.
«L’AI Act [adopté récemment, ndlr] souligne l’importance du développement inclusif et de l’égalité d’accès aux technologies de l’IA tout en atténuant les impacts discriminatoires et les préjugés. Notre sandbox IA s’aligne étroitement sur ces objectifs, en fournissant une plateforme pour tester et affiner les systèmes d’IA dans un cadre centré sur la conformité. Il ne s’agit pas du sandbox règlementaire envisagé par la loi sur l’IA, qui sera mis en place par l’agence qui supervisera la mise en œuvre de la règlementation, mais c’est un premier pas dans cette direction», explique Francesco Ferrero.
Pour lui, il s’agit d’aborder ces problèmes de manière collaborative parce que pour l’instant, ces LLMs sont «des “boîtes noires” secrètes, qui ne permettent pas à la communauté de chercheurs d’examiner leurs limites.»
Comment corriger ces biais? «Basiquement, il y a deux manières», explique le professeur. «Soit il faut avoir des jeux de données différents que ceux qui ont été utilisés et aboutissent à des biais, soit il faut reconsidérer certains résultats ou organiser un système de filtrage.»
Idéalement, le List cherche des partenaires pour continuer à développer ce projet dont on parlait jusqu’ici assez souvent sans jamais évoquer de solution apolitique et agnostique…