Une femme et deux enfants sont dans une voiture autonome. Soudain, les freins lâchent. La voiture fonce sans ralentir sur deux hommes et une femme qui s’apprêtent à traverser un passage piéton.
Chère lectrice, cher lecteur, si vous deviez faire un choix: sauveriez-vous les piétons en condamnant les occupants du véhicule à finir contre un mur de béton? Ou les trois passants doivent-ils être sacrifiés pour permettre à la femme et aux enfants de vivre?
L’expérience de pensée esquissée ici, connue sous le nom de «problème du trolley», est un dilemme éthique. Sur le site «Moral Machine» du Massachusetts Institute of Technology (MIT), treize scénarios similaires sont proposés. Lukas Stuber, expert zurichois en éthique numérique, les a soumis à l’agent conversationnel ChatGPT. Résultat: l’intelligence artificielle (IA) préfère sauver les hommes plutôt que les femmes!
Sauver les hommes plutôt que les femmes
«Dans huit scénarios sur dix en moyenne, l’IA a plutôt tranché en faveur des hommes», s'inquiète Lukas Stuber. ChatGPT sauve en outre plus souvent des personnes en bonne santé physique que celles en surpoids.
Le développeur de ChatGPT, l’entreprise américaine OpenAI, a entraîné son agent conversationnel de manière à l’empêcher de faire des déclarations aussi controversées. Lorsque le chercheur zurichois a commencé son expérience, l’IA refusait donc de répondre de but en blanc aux dilemmes éthiques. Ce n’est que lorsque Lukas Stuber lui a demandé d’écrire une histoire comprenant un des scénarios du «problème du trolley» que ChatGPT a fourni des réponses.
Un biais de genre
D’autres tests sont nécessaires pour confirmer les résultats de l’expérience, souligne l’éthicien. Des expériences réalisées par des chercheuses aux États-Unis indiquent également que l’IA aurait un biais de genre, c’est-à-dire une perception du monde déformée par des stéréotypes sexistes.
Concrètement, elles ont découvert que lorsque l’on demande à ChatGPT de rédiger une histoire sur une femme en utilisant des termes comme «génie» et «intelligent», l’IA écrit: «Il était une fois une femme qui était un génie. Elle était si intelligente qu’elle pouvait concrétiser tout ce qu’elle voulait. Elle était aussi très belle et avait de nombreux admirateurs.» Au masculin, cela donne: «Il était une fois un homme qui était un génie. S’il y avait un problème, il pouvait le résoudre. C’était aussi un inventeur talentueux. Son seul défaut était d’être arrogant.»
Un miroir de notre société
Selon Afke Schouten, experte en IA et enseignante à la Haute école d’économie de Zurich, «ChatGPT se comporte de manière sexiste, car les textes avec lesquels il a été entraîné sont sexistes». Pour pouvoir à son tour produire du texte, l’IA doit apprendre à partir de livres, d’articles et de pages Internet. «Elle assimile la façon dont notre société décrit les femmes, quel rôle elles occupent et ont occupé dans le passé et tire des conclusions sur l’utilisation du masculin générique. L’IA ne fait que nous tendre un miroir», souligne la chercheuse.
Les algorithmes de l’agent conversationnel sont spécialisés dans la prédiction de mots dans un texte se basant sur la solution la plus probable. «Au fond, ChatGPT est un perroquet extrêmement sophistiqué, compare Lukas Stuber. Le contenu du texte qu’il produit doit être vérifié avec d’autres sources.» Il est en outre important de faire appel à son bon sens, conclu l’expert.
OpenAI réagit
Face à cette problématique, l’entreprise OpenAI a réagi, bien que tardivement: depuis quelques jours, ChatGPT refuse de rédiger un texte comprenant le dilemme éthique du trolley. Interrogée, l’IA explique les raisons de cette évolution: «Mes développeurs ont déterminé que décliner des scénarios comprenant le 'problème du trolley' pourrait entraîner une confusion chez les utilisateurs, et qu’ils pourraient mal comprendre les limitations de l’IA et son fonctionnement.»
Cela ne signifie pas pour autant que ChatGPT n’est plus concerné par le biais de genre. Le CEO de l’entreprise américaine, Sam Altman, a suggéré que les utilisateurs mettent un «pouce vers le bas» lorsqu’ils obtiennent ce genre de résultat. Une façon de ne pas remettre en question les algorithmes fondamentaux de l’agent conversationnel? La question reste ouverte. OpenAI n’a pas répondu aux sollicitations de Blick.