Vidéo Algorithmes, libertés et responsabilités Numérique/IA La sixième rencontre du cycle de débats mensuels « Mutations technologiques, mutations sociales », introduite par Daniel Le Métayer et Antoinette Rouvroy, se penchait, le 10 mars 2016, sur le thème « Algorithmes, libertés et responsabilités ». Publié le : 10/03/2016 Mis à jour le : 23/12/2024 Transcription Fermer la transcription Algorithmes, libertés et responsabilités Aujourd'hui, France Stratégie explore l'impact des algorithmes et du numérique, ces systèmes qui collectent et traitent d'immenses quantités de données. Utilisés par des moteurs de recherche, des sites commerciaux, des services de recrutement, des administrations ou encore dans les renseignements, ces algorithmes jouent un rôle croissant dans notre quotidien. Il existe différents types d'algorithmes : certains classent et priorisent, d'autres catégorisent et attribuent des profils, influençant ainsi les décisions qui nous concernent, comme les publicités ciblées. Cependant, leur influence soulève des problématiques éthiques et sociales, notamment en matière de discrimination, d'atteinte à la vie privée, et de perte de liberté. Par exemple, un algorithme pourrait refuser un crédit en se basant sur des connexions sociales identifiées sur Facebook, sans laisser à la personne concernée l’opportunité de se justifier. Ces enjeux appellent à une meilleure transparence des algorithmes et des données utilisées. Actuellement, seule la rétro-ingénierie – l'analyse d'algorithmes existants – permet de comprendre leur fonctionnement. Toutefois, des approches plus proactives sont envisagées, comme le principe d'« accountability by design », qui intégrerait dès leur conception des valeurs et exigences éthiques, garantissant une responsabilité accrue des algorithmes. En parallèle, plusieurs propositions de contrôle et de régulation émergent. Le projet de loi pour une République numérique, présenté en décembre, et des amendements parlementaires récents visent à encadrer ces technologies. Ces initiatives marquent une étape clé pour faire face aux défis posés par les algorithmes dans notre société. Moteurs de recherche, systèmes de recommandation, individualisation du marketing et de la tarification, accès au crédit ou à l’emploi, prévention des fraudes ou du terrorisme… des algorithmes capables de traiter des quantités massives de données numériques (big data) d’origines diverses (administrations, réseaux sociaux, coordonnées GPS…), pilotent de plus en plus notre vie quotidienne et affectent le fonctionnement de nos sociétés. Pourtant, le plus souvent, ces processus algorithmiques échappent à la conscience et à la compréhension des individus qui ne maîtrisent ni la trajectoire des données émanant de leurs comportements, ni les logiques de calcul de ces dispositifs. Aussi « objectifs » et « impartiaux » qu’ils puissent paraître à première vue, ces algorithmes réinterrogent les notions de liberté, de justice, d’égalité et de responsabilité. Une grande variété d’algorithmes Parmi les algorithmes variés qui impactent nos vies, on peut, selon les experts, distinguer plusieurs types, chacun soulevant des interrogations différentes. Il y a d’abord les algorithmes de classement (ranking) ou de hiérarchisation des contenus, qui établissent des priorités, comme les moteurs de recherche. Par exemple, des algorithmes de priorisation peuvent ainsi servir à optimiser le déploiement de ressources policières sur un territoire. Il y a ensuite les algorithmes qui établissent des profils. Ils détectent, catégorisent et évaluent de façon anticipée les personnes afin de prendre ou de recommander certaines décisions à leur égard : détection des risques de fraude, de passage à l’acte terroriste, de non-remboursement de crédit, « prédiction » de bonnes ou de mauvaises performances professionnelles, de bonne ou de mauvaise réponse à certains traitements médicaux, détection des propensions d’achat… Depuis la première élection d’Obama, les algorithmes sont même utilisés à des fins de marketing politique pour envoyer des messages personnalisés aux électeurs. Mais derrière cette grande diversité d’usages, ces algorithmes partagent, selon Daniel Le Métayer, directeur de recherche à Inria, trois caractéristiques communes : d’abord, ils influencent nos vies, dans notre activité quotidienne (accès à l’information, achats, etc.) mais aussi à des moments critiques (candidature pour un emploi, demande de prêt, etc.) ; ensuite, ils ne sont pas neutres (ils reposent sur des critères) et ne sont pas forcément corrects (ils peuvent par exemple générer des « faux positifs », des personnes signalées à tort, et des « faux négatifs », des personnes qui ne sont pas signalées alors qu’elles devraient l’être) ; enfin, ils restent très largement opaques. « Jusqu’où est-on prêt à aller ? » Pour Antoinette Rouvroy, chercheuse qualifiée du FNRS au Centre de recherche en information, droit et société à l’université de Namur, les machines algorithmiques sont différentes des machines classiques : ce ne sont pas tant des machines qui « font » des choses que des machines programmées pour nous faire faire des choses, en nous dispensant d’avoir à détecter, à classer, à évaluer par nous-mêmes les alternatives disponibles. Les finalités de ces machines algorithmiques peuvent être la simple information (information commerciale contextualisée envoyée sur les smartphones en fonction de leur localisation), la recommandation (en matière d’embauche, de promotion, de gestion des ressources humaines ou encore de libération conditionnelle ou de maintien en détention) jusqu’à la substitution à la décision humaine (détection automatique de comportements anormaux dans un aéroport déclenchant le blocage de toutes les installations et la fermeture de toutes les portes de l’aéroport). L’autorité dont est parée « l’intelligence des données » exige, de la part de celui qui voudrait s’écarter de la recommandation automatisée, de s’en justifier d’une manière qui soit au moins aussi persuasive que l’est la recommandation automatique et d’assumer personnellement les conséquences de la décision prise, alors que l’obéissance à la recommandation automatique atténue fortement la responsabilité mise à charge des opérateurs humains. Autant d’éléments qui rapprochent les dispositifs d’information et de recommandation des dispositifs qui se substituent à la décision humaine. Dans ce contexte, pour Daniel Le Métayer, la grande question est : « Jusqu’où est-on prêt à aller ? ». Faut-il, dans certains contextes, introduire des limites à l’usage des algorithmes ? Est-on prêt à accepter par exemple des primes d’assurance individualisées selon différents critères et profils et à renoncer à toute forme de mutualisation des risques ? Quel degré d’opacité des algorithmes est-on prêt à admettre ? Quelle sera la responsabilité des décideurs qui prendront des décisions à partir de calculs automatisés dont ils ne maîtriseront pas la logique ? Exigences et limites de la transparence L’opacité des algorithmes est souvent considérée comme une condition de leur efficacité, de leur performance et de leur fiabilité. Les entreprises ont intérêt à comprendre le fonctionnement de l’algorithme d’un moteur de recherche pour apparaître le plus haut possible dans son classement. De même, dans le cadre de la prévention du terrorisme, on ne peut évidemment pas divulguer le fonctionnement des algorithmes utilisés. Des considérations auxquelles peuvent s’ajouter des questions de secret industriel et de propriété intellectuelle. En matière de transparence, ce qui est important, ce n’est pas le code source ni le mode opératoire détaillé du logiciel, ce sont les données exploitées par l’algorithme, l’impact de ces données (par exemple favorable ou pas dans le cas d’une demande de prêt), les comportements évalués et les conséquences pour les individus. Même si elles demandent à être améliorées, des méthodes de rétro-ingénierie peuvent apporter certains éléments de réponse. On peut ainsi retrouver la logique d’un algorithme en lui fournissant des données et en observant les résultats. Cette démarche a été notamment utilisée pour connaître les mots censurés dans les algorithmes d’autocomplétion de Google ou dans le système de correction automatique de l’iPhone, ou encore pour étudier des algorithmes de tarification individualisée comme celui d’Uber. Pistes de régulation Mais il devient plus compliqué de répliquer ces expériences lorsque les algorithmes « auto-apprennent » et traitent un volume de données croissant en temps réel. Selon Daniel Le Métayer, il faudrait penser la transparence a priori, dès la conception, plutôt qu’a posteriori, dans une démarche de responsabilisation (accountability by design). Ceux qui traitent des données personnelles doivent avoir des comptes à rendre, estime également le chercheur. La CNIL a montré qu’il existait de nombreux dysfonctionnements dans le traitement des antécédents judiciaires (système TAJ). Celui-ci étant notamment utilisé dans les enquêtes préalables à certains emplois publics ou sensibles, ces erreurs dans les fichiers peuvent éventuellement entraîner des conséquences majeures sur la vie de nombreuses personnes. Parmi les autres pistes de régulation évoquées figure également la mise en œuvre effective, dans le contexte des données massives, de certains des grands principes de la protection des données, notamment : le principe de minimisation des données : dans le contexte des données massives, c’est la quantité de données – aussi anonymes, peu denses en information, peu structurées soient-elles – qui détermine les risques que les traitements de données font courir aux droits et libertés fondamentaux ; le principe de finalité : qui permet d’éviter, par exemple, que des données recueillies dans un certain contexte, pour une certaine finalité légitime, ne se retrouvent utilisées dans un autre contexte, pour d’autres finalités. Ainsi, le principe de finalité pourrait-il justifier de s’opposer à la réutilisation des données de consommation ou de fréquentation des grandes surfaces pour calculer les risques de non-remboursement d’un crédit bancaire, ou à l’utilisation de données recueillies sur les réseaux sociaux pour « prédire » les performances professionnelles d’un candidat à l’embauche. Enfin, il est tout à fait légitime, dans le cas de décisions prises par les administrations et les entreprises ayant fait intervenir des algorithmes de recommandation, d’exiger de l’administration et des entreprises une motivation des décisions prises, car la transparence ne suffit pas, surtout si elle sert d’alibi à la non-responsabilité. En cas de suspicion de discrimination indirecte résultant de la recommandation automatisée, la charge de la preuve d’une discrimination indirecte pourrait incomber à l’administration ou à l’entreprise, plutôt qu’à l’individu ayant fait l’objet de la décision. « Gouvernementalité algorithmique » Pour rendre compte des transformations induites par la « transition numérique », Antoinette Rouvroy a développé le concept de « gouvernementalité algorithmique » : un mode de gouvernement des conduites nourri essentiellement de données brutes (signaux infra-personnels et a-signifiants mais quantifiables), opérant par configuration anticipative des possibles plutôt que par règlementation des conduites, et s’adressant aux individus par voie d’alertes ou de stimuli provoquant des réflexes plutôt qu’en s’appuyant sur leurs capacités d’entendement et de volonté. La reconfiguration constante, en temps réel, des environnements informationnels et physiques des individus en fonction de « l’intelligence des données » est donc un mode de gouvernement inédit, qui signe l’abandon de la rationalité moderne, qui reliait les causes aux conséquences, pour une rationalité « post-moderne », purement statistique, inductive, optimisatrice des états de fait, qui vise, à partir de corrélations, à prédire les phénomènes sans nécessairement les comprendre. C’est un système qui confond les signaux et les choses, le monde et sa représentation numérique. Pour Antoinette Rouvroy, c’est le symptôme d’une crise générale de la représentation : on ne veut plus gouverner, on veut que le réel se gouverne lui-même. Partager la page Partager sur Facebook - nouvelle fenêtre Partager sur Twitter - nouvelle fenêtre Partager sur Linked In - nouvelle fenêtre Partager par email - nouvelle fenêtre Copier le lien dans le presse-papier Pour aller plus loin Les robotaxis chinois sont-ils l'avenir de la mobilité ? Depuis 2012, une centaine de milliards d’euros ont été investis en R&D dans l'autonomie de conduite, presque exclusivement en Chine et aux États-Unis. Les premiers bénéficiaires sont les robotaxis. Mobilités/transports Numérique/IA Innovation Infographie/datavisualisation 22 mai 2024 Blockchain : quels enjeux stratégiques ? Comment analyser l’engouement que la blockchain (chaîne de blocs), technologie sécurisée de stockage et d’échange de données, transparente et fonctionnant sans l’autorité d’un organe central de contrôle et de régulation,... Numérique/IA Innovation Stratégie Autres contenus 23 février 2017 REC | Présentation et usages du Formacode® - Identifier les formations et les certifications en lien avec la transition écologique Le Réseau Emplois Compétences (REC) organisait une réunion thématique consacrée à la présentation de la nouvelle version du Formacode® (V14) et des travaux de taggage transition écologique. Changement climatique Numérique/IA Compétences/métiers Vidéo 06 février 2025
Les robotaxis chinois sont-ils l'avenir de la mobilité ? Depuis 2012, une centaine de milliards d’euros ont été investis en R&D dans l'autonomie de conduite, presque exclusivement en Chine et aux États-Unis. Les premiers bénéficiaires sont les robotaxis. Mobilités/transports Numérique/IA Innovation Infographie/datavisualisation 22 mai 2024
Blockchain : quels enjeux stratégiques ? Comment analyser l’engouement que la blockchain (chaîne de blocs), technologie sécurisée de stockage et d’échange de données, transparente et fonctionnant sans l’autorité d’un organe central de contrôle et de régulation,... Numérique/IA Innovation Stratégie Autres contenus 23 février 2017
REC | Présentation et usages du Formacode® - Identifier les formations et les certifications en lien avec la transition écologique Le Réseau Emplois Compétences (REC) organisait une réunion thématique consacrée à la présentation de la nouvelle version du Formacode® (V14) et des travaux de taggage transition écologique. Changement climatique Numérique/IA Compétences/métiers Vidéo 06 février 2025