Moteurs de recherche, systèmes de recommandation, individualisation du marketing et de la tarification, accès au crédit ou à l’emploi, prévention des fraudes ou du terrorisme… des algorithmes capables de traiter des quantités massives de données numériques (big data) d’origines diverses (administrations, réseaux sociaux, coordonnées GPS…), pilotent de plus en plus notre vie quotidienne et affectent le fonctionnement de nos sociétés. Pourtant, le plus souvent, ces processus algorithmiques échappent à la conscience et à la compréhension des individus qui ne maîtrisent ni la trajectoire des données émanant de leurs comportements, ni les logiques de calcul de ces dispositifs. Aussi « objectifs » et « impartiaux » qu’ils puissent paraître à première vue, ces algorithmes réinterrogent les notions de liberté, de justice, d’égalité et de responsabilité.

Une grande variété d’algorithmes

Parmi les algorithmes variés qui impactent nos vies, on peut, selon les experts, distinguer plusieurs types, chacun soulevant des interrogations différentes. Il y a d’abord les algorithmes de classement (ranking) ou de hiérarchisation des contenus, qui établissent des priorités, comme les moteurs de recherche. Par exemple, des algorithmes de priorisation peuvent ainsi servir à optimiser le déploiement de ressources policières sur un territoire. Il y a ensuite les algorithmes qui établissent des profils. Ils détectent, catégorisent et évaluent de façon anticipée les personnes afin de prendre ou de recommander certaines décisions à leur égard : détection des risques de fraude, de passage à l’acte terroriste, de non-remboursement de crédit, « prédiction » de bonnes ou de mauvaises performances professionnelles, de bonne ou de mauvaise réponse à certains traitements médicaux, détection des propensions d’achat…  Depuis la première élection d’Obama, les algorithmes sont même utilisés à des fins de marketing politique pour envoyer des messages personnalisés aux électeurs. Mais derrière cette grande diversité d’usages, ces algorithmes partagent, selon Daniel Le Métayer, directeur de recherche à Inria, trois caractéristiques communes : d’abord, ils influencent nos vies, dans notre activité quotidienne (accès à l’information, achats, etc.) mais aussi à des moments critiques (candidature pour un emploi, demande de prêt, etc.) ; ensuite, ils ne sont pas neutres (ils reposent sur des critères) et ne sont pas forcément corrects (ils peuvent par exemple générer des « faux positifs », des personnes signalées à tort, et des « faux négatifs », des personnes qui ne sont pas signalées alors qu’elles devraient l’être) ; enfin, ils restent très largement opaques.

« Jusqu’où est-on prêt à aller ? »

Pour Antoinette Rouvroy, chercheuse qualifiée du FNRS au Centre de recherche en information, droit et société à l’université de Namur, les machines algorithmiques sont différentes des machines classiques : ce ne sont pas tant des machines qui « font » des choses que des machines programmées pour nous faire faire des choses, en nous dispensant d’avoir à détecter, à classer, à évaluer par nous-mêmes les alternatives disponibles. Les finalités de ces machines algorithmiques peuvent être la simple information (information commerciale contextualisée envoyée sur les smartphones en fonction de leur localisation), la recommandation (en matière d’embauche, de promotion, de gestion des ressources humaines ou encore de libération conditionnelle ou de maintien en détention) jusqu’à la substitution à la décision humaine (détection automatique de comportements anormaux dans un aéroport déclenchant le blocage de toutes les installations et la fermeture de toutes les portes de l’aéroport).

L’autorité dont est parée « l’intelligence des données » exige, de la part de celui qui voudrait s’écarter de la recommandation automatisée, de s’en justifier d’une manière qui soit au moins aussi persuasive que l’est la recommandation automatique et d’assumer personnellement les conséquences de la décision prise, alors que l’obéissance à la recommandation automatique atténue fortement la responsabilité mise à charge des opérateurs humains. Autant d’éléments qui rapprochent les dispositifs d’information et de recommandation des dispositifs qui se substituent à la décision humaine.

Dans ce contexte, pour Daniel Le Métayer, la grande question est : « Jusqu’où est-on prêt à aller ? ». Faut-il, dans certains contextes, introduire des limites à l’usage des algorithmes ? Est-on prêt à accepter par exemple des primes d’assurance individualisées selon différents critères et profils et à renoncer à toute forme de mutualisation des risques ? Quel degré d’opacité des algorithmes est-on prêt à admettre ? Quelle sera la responsabilité des décideurs qui prendront des décisions à partir de calculs automatisés dont ils ne maîtriseront pas la logique ?

Exigences et limites de la transparence

L’opacité des algorithmes est souvent considérée comme une condition de leur efficacité, de leur performance et de leur fiabilité. Les entreprises ont intérêt à comprendre le fonctionnement de l’algorithme d’un moteur de recherche pour apparaître le plus haut possible dans son classement. De même, dans le cadre de la prévention du terrorisme, on ne peut évidemment pas divulguer le fonctionnement des algorithmes utilisés. Des considérations auxquelles peuvent s’ajouter des questions de secret industriel et de propriété intellectuelle.

En matière de transparence, ce qui est important, ce n’est pas le code source ni le mode opératoire détaillé du logiciel, ce sont les données exploitées par l’algorithme, l’impact de ces données (par exemple favorable ou pas dans le cas d’une demande de prêt), les comportements évalués et les conséquences pour les individus.

Même si elles demandent à être améliorées, des méthodes de rétro-ingénierie peuvent apporter certains éléments de réponse. On peut ainsi retrouver la logique d’un algorithme en lui fournissant des données et en observant les résultats. Cette démarche a été notamment utilisée pour connaître les mots censurés dans les algorithmes d’autocomplétion de Google ou dans le système de correction automatique de l’iPhone, ou encore pour étudier des algorithmes de tarification individualisée comme celui d’Uber.

Pistes de régulation

Mais il devient plus compliqué de répliquer ces expériences lorsque les algorithmes « auto-apprennent » et traitent un volume de données croissant en temps réel. Selon Daniel Le Métayer, il faudrait penser la transparence a priori, dès la conception, plutôt qu’a posteriori, dans une démarche de responsabilisation (accountability by design). Ceux qui traitent des données personnelles doivent avoir des comptes à rendre, estime également le chercheur. La CNIL a montré qu’il existait de nombreux dysfonctionnements dans le traitement des antécédents judiciaires (système TAJ). Celui-ci étant notamment utilisé dans les enquêtes préalables à certains emplois publics ou sensibles, ces erreurs dans les fichiers peuvent éventuellement entraîner des conséquences majeures sur la vie de nombreuses personnes.

Parmi les autres pistes de régulation évoquées figure également la mise en œuvre effective, dans le contexte des données massives, de certains des grands principes de la protection des données, notamment :

1. le principe de minimisation des données : dans le contexte des données massives, c’est la quantité de données – aussi anonymes, peu denses en information, peu structurées soient-elles – qui détermine les risques que les traitements de données font courir aux droits et libertés fondamentaux ;
2. le principe de finalité : qui permet d’éviter, par exemple, que des données recueillies dans un certain contexte, pour une certaine finalité légitime, ne se retrouvent utilisées dans un autre contexte, pour d’autres finalités. Ainsi, le principe de finalité pourrait-il justifier de s’opposer à la réutilisation des données de consommation ou de fréquentation des grandes surfaces pour calculer les risques de non-remboursement d’un crédit bancaire, ou à l’utilisation de données recueillies sur les réseaux sociaux pour « prédire » les performances professionnelles d’un candidat à l’embauche.

Enfin, il est tout à fait légitime, dans le cas de décisions prises par les administrations et les entreprises ayant fait intervenir des algorithmes de recommandation, d’exiger de l’administration et des entreprises une motivation des décisions prises, car la transparence ne suffit pas, surtout si elle sert d’alibi à la non-responsabilité. En cas de suspicion de discrimination indirecte résultant de la recommandation automatisée, la charge de la preuve d’une discrimination indirecte pourrait incomber à l’administration ou à l’entreprise, plutôt qu’à l’individu ayant fait l’objet de la décision.