Les spécialistes de l’apprentissage automatique d’Amazon ont mis à jour un gros problème: leur nouveau moteur de recrutement n’aimait pas le genre féminin, selon plusieurs personnes familiarisées avec le projet. L’équipe avait mis au point des programmes informatiques depuis 2014 afin d’examiner les curriculum vitae des candidats afin de faciliter la recherche des meilleurs talents. De manière générale, l’automatisation a joué un rôle clé dans la domination du commerce électronique par Amazon, que ce soit dans les entrepôts ou dans la prise des décisions en matière de tarification.

L’outil d’embauche expérimental de la société utilisait l’intelligence artificielle pour donner aux candidats des notes allant de 1 à 5 étoiles – un peu comme les clients évaluent les produits sur Amazon. «Tout le monde voulait ce Saint Graal», a déclaré une personne familière avec le projet. “Ils voulaient littéralement que ce soit un moteur dans lequel vous pouvez, sur 100 curriculum vitae, trouver les cinq meilleurs.”

Mais en 2015, la société a réalisé que son nouveau système ne notait pas les candidats aux postes de développeur de logiciel ni aux autres postes techniques de manière non sexiste. En effet, les modèles informatiques d’Amazon ont été formés pour examiner les candidatures en observant les modèles de curriculum vitae soumis à la société sur une période de 10 ans. La plupart venaient d’hommes, ce qui reflétait la domination des hommes dans l’industrie des technologies.

En réalité, le système d’Amazon a lui-même appris que les candidats masculins étaient « préférables ». Il reprend les mots pénalisés qui incluent le mot «femmes», comme dans «capitaine d’un club d’échecs féminin». Et il a déclassé les diplômés de deux collèges entièrement féminins, toujours selon des personnes familières avec le sujet. Ils n’ont pas précisé les noms des écoles.

Amazon a modifié les programmes pour les rendre neutres par rapport à ces termes particuliers. Mais cela ne garantissait pas que les machines ne trouveraient pas d’autres moyens de trier les candidats susceptibles de se révéler discriminatoires.

La société de Seattle a finalement dissous l’équipe au début de l’année dernière parce que les cadres supérieurs féminins avaient perdu tout espoir de succès. Les recruteurs d’Amazon ont examiné les recommandations générées par l’outil lors de la recherche de nouveaux employés, mais ne se sont jamais appuyés uniquement sur ces classements, ont déclaré plusieurs personnes familiarisées avec l’opération.

Amazon a refusé de commenter le moteur de recrutement ou ses défis. Mais la société affirme être attachée à la diversité et à l’égalité des sexes sur le lieu de travail.

L’expérience de la société offre une étude de cas sur les limites de l’apprentissage automatique. Il sert également de leçon à la liste croissante de grandes entreprises, notamment « Hilton Worldwide Holdings Inc » et » Goldman Sachs Group Inc », qui cherchent à automatiser elles aussi le processus de recrutement.

Selon un sondage réalisé en 2017 par la société de développement de logiciels CareerBuilder, environ 55% des responsables américains des ressources humaines ont déclaré que l’intelligence artificielle, ou IA, ferait partie de leur travail habituel.

Les employeurs rêvent depuis longtemps de tirer parti de la technologie pour élargir le réseau d’embauche et réduire le recours aux opinions subjectives des recruteurs. Mais des informaticiens tels que Nihar Shah, qui enseigne l’apprentissage automatique à la Carnegie Mellon University, affirment qu’il reste encore beaucoup à faire. “Comment s’assurer que l’algorithme est juste, comment s’assurer que l’algorithme est vraiment interprétable et explicable – c’est encore assez loin”, a-t-il déclaré.