Comment devrions-nous concevoir la prochaine génération d’IA ?

Alors que l'intelligence artificielle est utilisée de plus en plus de façons, de l'amélioration de l'expérience client à l'aide aux dirigeants d'entreprise pour prendre des décisions plus éclairées, ses implications éthiques suscitent des interrogations.

Cela inclut l'impact des décisions prises par les outils d'IA sur la vie des individus, souvent avec une intervention humaine limitée, voire inexistante. Dans le cadre de nos recherches, nous avons examiné comment l'IA peut être développée pour accroître la transparence, la responsabilité et l'obligation de rendre compte, notamment dans des domaines tels que l'allocation des ressources, la planification et les achats. Nous avons également examiné dans quelle mesure les biais humains sont intégrés à l'IA, ce qui peut affecter la qualité des décisions qu'elle prend.

Certaines entreprises utilisent déjà des systèmes d'IA pour les aider dans des domaines tels que les RH, grâce à des outils d'IA permettant d'évaluer les CV et d'identifier les candidats qualifiés.

Cependant, des chercheurs ont exprimé des inquiétudes quant à la conception et au fonctionnement de ces systèmes. Les décisions algorithmiques sont décrites comme entachées d'hypothèses erronées, de données de mauvaise qualité et de biais.

Dans certains cas, elles sont opaques et difficiles à comprendre, avec peu, voire aucune, possibilité de recours. Une analyse de l'utilisation de l'IA dans le processus de recrutement a révélé que nombre de ces systèmes ne sont pas neutres.

Ils peuvent facilement reproduire les biais et les limites de leurs développeurs. En bref, biais entrant, biais sortant. Les implications éthiques de la prise de décision par l'IA suscitent également des inquiétudes quant au manque de confiance, de gouvernance et de responsabilité. Les organisations manquent souvent de clarté sur la manière dont les algorithmes qu'elles utilisent ont été développés et fonctionnent, ce qui peut limiter leur efficacité.

Pour améliorer la transparence, l'équité et la responsabilité.

Nous avons constaté que le recours à la prise de décision algorithmique doit être soutenu par une supervision et un contrôle humains, en particulier dans les domaines à haut risque. Les organisations utilisant l'IA doivent définir qui sera tenu responsable en cas de problème.

Elles doivent également réfléchir attentivement à la manière dont les données utilisées par les outils d'IA sont collectées et traitées. Dans le domaine des achats, par exemple, nous avons constaté que les données étaient souvent saisies par des personnes différentes, ce qui augmentait le risque d'erreurs et de données de mauvaise qualité. Garantir l'intégrité de ces données est essentiel au bon fonctionnement du système d'IA.

Nous avons également constaté que les décisions algorithmiques doivent être conçues dans un souci d'équité et de transparence. Cela implique d'établir des protocoles clairs sur leur fonctionnement et leur utilisation. Une organisation que nous avons étudiée avait mis en place des règles permettant aux superviseurs de rejeter le résultat d'une décision algorithmique s'ils la jugeaient injuste.

Il est aussi essentiel que les organisations forment leurs employés afin qu'ils comprennent le fonctionnement de ces systèmes. Ils doivent être capables d'expliquer clairement les décisions algorithmiques et de savoir comment réagir en cas de problème. Notre étude a révélé que certaines organisations prenaient déjà des mesures pour relever les défis liés à la prise de décision algorithmique.

Une entreprise avait développé un système d'IA pour la planification des horaires de travail, doté d'un bouton permettant de contester une décision et de demander sa révision par un superviseur. Ces exemples illustrent comment les systèmes d'IA peuvent être conçus de manière à promouvoir la transparence, la responsabilité et l'équité.

Dans nos recherches, nous soulignons l'existence d'un décalage entre la conception des systèmes d'IA et leur utilisation pratique. Nous avons développé un cadre qui explique le rôle de l'intervention humaine dans l'élaboration des décisions algorithmiques et qui peut servir à améliorer la conception des systèmes futurs.

Nous pensons que ce cadre pourrait aider les entreprises et les organisations à développer des systèmes d'IA plus efficaces, plus transparents et plus respectueux des valeurs humaines. L'avenir de l'IA dépend des principes éthiques que nous intégrons aux systèmes que nous construisons aujourd'hui. Alors que l'IA continue de transformer les industries, nous devons veiller à ce que la prise de décision qu'elle permet ne reproduise pas – ni ne renforce – nos pires habitudes. Une conception responsable doit plutôt privilégier la responsabilité humaine, l'équité et la confiance.

Applications

Cette recherche s'applique à toute organisation ou agence publique qui s'appuie sur la prise de décision algorithmique, notamment dans des domaines tels que les ressources humaines, la logistique, les achats ou la finance. Les praticiens devraient développer des systèmes de surveillance permettant au personnel de remettre en question ou d'intervenir sur les recommandations de l'IA, et veiller à ce que des formations, des protocoles et des mécanismes d'audit soient en place pour suivre l'impact des algorithmes.

Méthodologie

Nous avons mené une étude qualitative pluriannuelle à partir des données d'une organisation logistique humanitaire internationale. Notre équipe a mené des entretiens, examiné la documentation et observé les pratiques opérationnelles impliquant la planification algorithmique et l'allocation des ressources. Les résultats ont été synthétisés dans un cadre qui met en évidence l'interaction entre les choix de conception et les structures organisationnelles, les biais humains et la mise en œuvre technologique.