[Sauf mention contraire, tous les liens renvoient vers des pages en espagnol, ndlt]

Rising Voices (RV) s'est asocié à l’Association pour le progrès des communications [fr] (APC), qui a publié l'édition 2019 du Bulletin de l’Observatoire mondial de la société de l'information [fr] (OMSI) intitulé “L'intelligence artificielle (IA) : droits humains, justice sociale et développement”. Dans les mois à venir, Rising Voices reprendra des rapports par pays, en particulier ceux qui portent sur les effets de l'IA sur les communautés historiquement sous-représentées ou marginalisées.

Cet article [en] est signé Paz Peña et Joana Varon, de Coding Rights. Le rapport a été initialement publié au sein d'une collection de plus grande ampleur : “Bulletin de l'Observatoire mondial de la société de l'information 2019 : droits humains, justice sociale et développement”. Vous pouvez consulter le site de l’OMSI [fr] pour télécharger le rapport complet (en anglais), disponible sous licence CC BY 4.0.

Disons que vous avez accès à une base de données contenant des informations concernant 12 000 jeunes filles et femmes de 10 à 19 ans, qui habitent dans une région pauvre d'Amérique du Sud. Les données comprennent leur âge, leur quartier de résidence, leur appartenance ethnique, leur pays d'origine, le niveau d'éducation du ou de la chef.fe de ménage, leurs handicaps physiques et mentaux, le nombre de personnes habitant sous le même toit, et l'accès ou non à l'eau chaude courante au domicile. Quelles conclusions pourriez-vous tirer de cette base de données ? En fait, peut-être que la question à poser devrait être : est-il même souhaitable de tirer quelque conclusion que ce soit ? Parfois, et malheureusement dans la plupart des cas, la simple possibilité d'extraire de grandes quantités de données est une excuse suffisante pour “faire parler les chiffres” et, pire encore, prendre des décisions sur cette base.

La base de données décrite ci-dessus existe réellement et elle a été utilisée par les pouvoirs publics pour mettre un frein au décrochage scolaire et aux grossesses adolescentes. “Les algorithmes intelligents nous permettent d'identifier certaines caractéristiques chez les personnes qui pourraient à terme être confrontées à ces problèmes. Nous pouvons ensuite prévenir le gouvernement afin qu'il s'occupe de la prévention,” a indiqué un représentant de Microsoft Azure. Cette entreprise est responsable du système d’apprentissage automatique [fr] (ou machine learning) utilisé sur la “Plateforme technologique d'intervention sociale” mise en place par le ministère de la Petite Enfance de la province de Salta en Argentine.

“Avec cette technologie, en fonction du prénom, du nom et de l'adresse, on peut prédire cinq à six ans à l'avance quelle petite fille, ou future adolescente, est prédestinée à 86% à tomber enceinte pendant son adolescence”, a déclaré le gouverneur conservateur de Salta, Juan Manuel Urtubey. Le ministère de la Petite Enfance de cette province a travaillé pendant des années en partenariat avec l'ONG anti-avortement Fundación CONIN pour mettre au point ce système. La déclaration d'Urtubey a été prononcée en 2018, au beau milieu d'une campagne pour la légalisation de l'avortement en Argentine. Menée par un mouvement social pour les droits liés à la sexualité qui était sur le devant de la scène dans les discussions publiques au niveau local, cette campagne a également captivé des médias internationaux. L'idée d'un algorithme qui puisse prédire les grossesses adolescentes constitue l'excuse paraite pour les activistes misogynes [en] et opposés aux droits sexuels et reproductifs, qui cherchent à démontrer qu'il n'est pas nécessaire de légiférer sur l'avortement. Selon leurs discours, si l'on dispose de suffisamment de données sur les familles pauvres, des politiques publiques conservatrices peuvent être déployées afin de prédire et de prévenir les avortements des femmes pauvres. Par ailleurs, ils pensent que “si c'est recommandé par un algorithme, c'est mathématique, et donc vrai et irréfutable”.

Il est également important de souligner que la base de données utilisée sur la plateforme contient uniquement des informations sur des personnes de genre féminin. Cette attention particulière renforce les rôles genrés partiarcaux et, partant, fait reposer la culpabilité sur les épaules des adolescentes, comme si un enfant pouvait être conçu sans apport de sperme.

Pour toutes ces raisons, et d'autres encore, la Plateforme technologique d'intervention sociale a été vivement critiquée. Certains ont appelé ce système “mensonger”, “une hallucination” et “une intelligence qui ne pense pas”, expliquant que ces données sensibles concernant des femmes pauvres et des enfants n'étaient pas suffisamment protégées. Une analyse technique complète du système a été publiée par le Laboratoire d'intelligence artificielle appliquée (LIAA) de l'Université de Buenos Aires. Selon le LIAA, qui s'est penché sur la méthodologie mise en ligne sur GitHub par un ingénieur de Microsoft, les résultats escomptés sont surestimés du fait de certaines erreurs statistiques. Il s'avère par ailleurs que la base de données contenait des biais inhérents à la collecte d'informations concernant les grossesses non désirées, un sujet inévitablement sensible. Ainsi, les données ne permettraient pas de formuler des prédictions fiables.

Malgré ces réserves, l'usage de la plateforme n'a pas été remis en cause. Pire encore, ces mauvaises idées avancées sous couvert d'innovation se sont vite propagées : le système est actuellement en cours d'implémentation dans d'autres provinces argentines, telles que La Rioja, Tierra del Fuego et Chaco, et s'est exporté en Colombie, où il a été mis en place dans la municipalité de La Guarija.

La Plateforme technologique d'intervention sociale n'est qu'un exemple particulièrement frappant de la façon dont les solutions basées sur l'intelligence artificielle (IA), dont les tenants affirment qu'elles sont neutres et objectives, ont été déployées dans certains pays d'Amérique Latine pour faire le jeu de politiques publiques potentiellement discriminatoires, piétinant les droits humains des personnes moins privilégiées. Comme le montre cet exemple, cela comprend la surveillance et la censure des femmes et de leurs droits sexuels et reproductifs.

Nous sommes convaincu.e.s que l'une des causes principales de ces usages nocifs de l'apprentissage automatique et d'autres technologies d'intelligence artificielle repose sur une croyance aveugle dans les promesses exagérées du big data, censé résoudre les problèmes urgents auxquels l'humanité est confrontée. Au lieu de cela, nous proposons de constuire une critique et une grille de lecture transféministes qui contiennent en germe non seulement un potentiel d'analyse des effets néfastes de l'IA, mais aussi une forme de compréhension proactive des modes d'imagination, de création et de développement d'une IA émancipatrice qui saperait les normes sociales consuméristes, misogynes, racistes, hétéropatriarcales et de binarisme de genre.

Le big data : solution ou discrimination dissimulée derrière des formules mathématiques ?

L'IA peut être définie dans les grandes lignes comme une technologie proposant des prédictions sur la base de la détection automatique de schémas dans les données. Comme c'est le cas pour le gouvernement de Salta, de nombreux États à travers le monde se tournent de plus en plus vers des outils algorithmiques de prise de décision pour déterminer la distribution des biens et des services, y compris l'éducation, les services de santé publique, les services de police, le logement, etc. En outre, les programmes de lutte contre la pauvreté sont en passe d'être réduits à des données par les gouvernements. Des algorithmes sont utilisés pour déterminer l'accès aux services sociaux pour les personnes pauvres et sans emploi, transformant “l'expérience vécue de la pauvreté et de la vulnérabilité en données exploitables par une machine, ce qui provoque des effets tangibles dans la vie et les revenus des citoyens concernés”.

Cathy O'Neil, dans son analyse des usages de l'IA aux États-Unis, affirme que plusieurs systèmes “tendent à punir les pauvres”. Elle explique ce phénomène :

This is, in part, because they are engineered to evaluate large numbers of people. They specialize in bulk, and they’re cheap. That’s part of their appeal. The wealthy, by contrast, often benefit from personal input. […] The privileged, we’ll see time and again, are processed more by people, the masses by machines.

Ceci est en partie dû à la façon dont ils sont conçus pour évaluer un grand nombre de personnes. Ils sont performants sur des données en grande quantité et ils sont peu onéreux. Cela fait partie de leur attrait. Les riches, en revanche, bénéficient souvent d'un avis individuel. […] Le traitement [des données concernant] les personnes privilégiées, comme nous le verrons à de multiples reprises, est plus souvent effectué par des humains, alors que les masses sont évaluées par des machines.

Les systèmes d'IA sont basés sur des modèles de représentations abstraites, des généralisations et des simplifications de réalités complexes, où de nombreuses informations sont laissées de côté en fonction du jugement de leurs créateurs. O’ Neill fait l'observation suivante :

[M]odels, despite their reputation for impartiality, reflect goals and ideology. […] Our own values and desires influence our choices, from the data we choose to collect to the questions we ask. Models are opinions embedded in mathematics.

Les modèles, malgré leur réputation d'impartialité, reflètent des objectifs et une idéologie. […] Nos propres valeurs et désirs influencent nos choix, des données que nous choisissons de recueillir aux questions que nous posons. Les modèles sont des opinions encastrées dans une structure mathématique.

Dans ce contexte, l'IA reflètera les valeurs de ses créateurs, et de nombreux critiques ont ainsi mis l'accent sur la nécessité de veiller à la diversité et à l'inclusion :

So inclusivity matters – from who designs it to who sits on the company boards and which ethical perspectives are included. Otherwise, we risk constructing machine intelligence that mirrors a narrow and privileged vision of society, with its old, familiar biases and stereotypes.

Ainsi, l'importance de l'inclusion concerne les équipes de conception, les conseils d'administration des entreprises, ainsi que les perspectives éthiques mises en œuvre. Sinon, nous risquons de construire une intelligence artificielle qui calque une vision étriquée et privilégiée de la société, pleine de ses vieux préjugés et stéréotypes habituels.

Mais la diversité et l'inclusion ne suffisent pas à créer une IA émancipatoire. Si nous suivons l'idée de Marcuse [en] selon laquelle “le mode de production technologique est une forme spécifique ou une série de conditions que notre société a adoptée parmi d'autres conditions possibles, et c'est ce mode de production qui joue le rôle le plus fondamental dans l'élaboration des techniques, ainsi que l'orientation de leur déploiement et de leur prolifération”, il est crucial de se pencher sérieusement sur les intérêts servis par ce projet historico-social. Dans ce sens, les théories de “justice des données” [en] ont pris en considération la nécessité de faire le lien entre les luttes politiques pour la justice sociale d'une part et la révolution des données soutenue par certains États, ainsi que certaines entreprises et agences internationales d'autre part. Cela permettrait d'assurer un traitement équitable des personnes par l’État et par le secteur privé, ou par les deux types d'acteurs en partenariat.

Par exemple, selon le cadre proposé par Payal Arora, les discours autour du Big Data ont une connotation extraordinairement positive grâce à l'idéologie néolibérale selon laquelle l'exploitation des données des pauvres par des entreprises privées motivées par le profit se fera uniquement au bénéfice de la population. C'est, à bien des égards, la marque de fabrique des deux vieux compères, le capitalisme et le colonialisme, toujours présents et en pleine forme dès qu'un système d'IA s'avise de priver les gens de leur autonomie et de les traiter “comme de simples données brutes à transformer” [en]. Dans la même lignée, Couldry et Mejias considèrent que l'appropriation et l'exploitation des données pour leur valeur marchande s'enracine dans le capitalisme et le colonialisme.

Récemment, faisant le lien entre cette critique et la racialisation des citoyens et des communautés à travers les décisions algorithmiques, Safiya Umoja Noble a inventé le terme “technological redlining” (la ghettoïsation technologique), en référence aux processus de discrimination par les données qui renforcent les inégalités et l'oppression. Ce terme s'appuie sur la pratique du “redlining” [en] aux États-Unis, qui consiste à refuser de façon systématique – soit directement, soit par une hausse des prix –  certains services à des communautés en fonction de leur race :

I think people of color will increasingly experience it as a fundamental dimension of generating, sustaining, or deepening racial, ethnic and gender discrimination. This process is centrally tied to the distribution of goods and services in society, like education, housing and other human and civil rights, which are often determined now by software, or algorithmic decision-making tools, which might be popularly described as “artificial intelligence”.

Je crois que les personnes racisées vont être de plus en plus confrontées à ce phénomène, qui constitue une dimension fondamentale de la création, du maintien et de la consolidation des discriminations raciales, ethniques et de genre. Ce processus s'inscrit dans le schéma central de distribution des biens et des services dans la société, tels que l'éducation, le logement et d'autres droits humains et civils, qui de nos jours sont souvent déterminés par des logiciels ou des outils algorithmiques de prise de décision, couramment désignés par le terme d'”intelligence artificielle”.

La question est de savoir dans quelle mesure les citoyens et les pouvoirs publics qui achètent, développent et utilisent ces systèmes sont au fait des enjeux. Le cas de Salta, comme beaucoup d'autres, nous montre de manière explicite que la logique de promotion du big data comme solution à une série interminable de problèmes sociaux est en train d'être exportée en Amérique Latine, ce qui accentue les défis de la décolonisation. Cette logique neutralise non seulement les tentatives de critique du statu quo dans tous les domaines d'exercice de relations de pouvoir, de la géopolitique aux normes de genre en passant par le capitalisme, mais crée également de nouveaux obstacles au maintien et à la promotion de modes de vie alternatifs.

L'IA, la pauvreté et la stigmatisation

“L'avenir, c'est maintenant” : tel semble être le leitmotiv des pouvoirs publics quand il s'agit d'adopter avec enthousiasme les technologies numériques sans prendre en compte les voix critiques qui montrent que leurs effets sont potentiellement discriminatoires. Ces dernières années, par exemple, l'usage du big data pour des actions de police préventive semble avoir fait mouche en Amérique Latine. Au cours de nos recherches, nous avons constaté que différents types d'IA ont été utilisés (ou sont en cours de déploiement) dans des pays comme l'Argentine, le Brésil, le Chili, la Colombie, le Mexique et l’Uruguay, entre autres. Le modèle le plus courant consiste à élaborer des cartes de prédiction des crimes, mais certains projets tentent également de développer des modèles prédictifs pour identifier les personnes susceptibles de commettre des crimes.

Comme l'indique [en] [pdf] Fieke Jansen :

These predictive models are based on the assumption that when the underlying social and economic conditions remain the same crime spreads as violence will incite other violence, or a perpetrator will likely commit a similar crime in the same area.

Ces modèles prédictifs sont fondés sur l'hypothèse que lorsque les conditions sociales et économiques sous-jacentes sont constantes, les mêmes types de crimes vont se propager, puisque la violence appelle la violence. De même, un délinquant est susceptible de récidiver en commettant un crime comparable dans la même zone.

De nombreux critiques ont pointé du doigt les effets néfastes de l'utilisation de technologies prédictives par la police dans les quartier défavorisés et dans d'autres communautés fragiles : violences policières [pdf], stigmatisation, racisme et discriminations. Par ailleurs, aux États-Unis, où ces systèmes sont déjà en place depuis un certain temps, de nombreuses institutions de maintien de l'ordre remettent en cause l'efficacité réelle de ces systèmes [fr], notamment suite aux critiques dont ils font l'objet.

Les systèmes de lutte contre la pauvreté faisant appel à l'intelligence artificielle suivent la même logique que les technologies prédictives dans la prévention des crimes : ils recueillent des données pour prédire les risques sociaux et déployer des programmes publics. Comme nous venons de le voir, c'est le cas de la Plateforme technologique d'intervention sociale, mais aussi de systèmes tels que Alerta Infancia (Signalement Enfance) au Chili. Encore une fois, dans ce système, les prédictions sont appliquées à des mineurs dans des communautés en situation de pauvreté. Le système assigne un score de risque aux communautés, générant des alertes de protection automatiques, qui permettent ensuite la mise en place d'interventions “préventives”. Selon des sources officielles [pdf], cette plateforme définit l'indice de risque selon des critères tels que les grossesses adolescentes, l'usage excessif d'alcohol et/ou de drogues, la délinquence, les maladies mentales chroniques, le travail des enfants et l'exploitation dans le cadre du travail du sexe, la maltraitance ou les violences, et le décrochage scolaire. Parmi les nombreuses critiques adressées à ce projet, des groupes de la société civile spécialisés dans les droits de l'enfant ont déclaré que, au-delà du problème de la surveillance, le système “imposait une certaine forme de normativité socioculturelle” et qu'il “encourageait et validait socialement des formes de stigmatisation, de discrimination et même de criminalisation de la diversité culturelle existant au Chili”. Ces activistes insistent :

This especially affects indigenous peoples, migrant populations and those with lower economic incomes, ignoring that a growing cultural diversity demands greater sensitivity, visibility and respect, as well as the inclusion of approaches with cultural relevance to public policies.

Cela touche particulièrement les peuples autochtones, les populations migrantes et les personnes ayant des revenus bas, faisant abstraction du fait que l'évolution vers une plus grande diversité culturelle requiert plus de sensibilité, de visibilité et de respect, ainsi que l'intégration d'approches culturellement adaptées dans les politiques publiques.

Il y a au moins trois caractéristiques communes entre ces systèmes utilisés en Amérique Latine, qui sont particulièrement inquiétantes étant donné leur potentielle contribution à une aggravation de l'injustice sociale dans la région : premièrement, il s'agit de l'identité qui est plaquée sur les individus et les populations pauvres. Cette quantification de la personne, des corps (compris comme étant construits socialement) et des communautés ne laisse aucune place à une renégociation. En d'autres termes, la “datafication” remplace l'identité sociale par une identité de système.

En lien avec ce dernier point, il existe une deuxième caractéristique renforçant l'injustice sociale : le manque de transparence et de garde-fous dans ces systèmes. Aucun d'entre eux n'a été conçu par le biais d'un quelconque processus participatif, que ce soit avec la participation de spécialistes, ou, plus important encore, les communautés concernées. Au lieu de cela, les systèmes d'IA semblent solidifier le fonctionnement pyramidal politiques publiques, faisant des gens des “bénéficiaires” et des “consommateurs” : “Tout comme Hacking évoquait l'idée de la classification comme une “fabrique de gens”, la datafication “fabrique” des bénéficiaires à travers les catégories démographiques cristallisées dans les données, et plus facilement malléables sous un régime de contrôle hiérarchique”.

Enfin, ces systèmes sont développés par ce que nous appellerions des “consortiums néolibéraux”, où les gouvernements développent et acquièrent les systèmes d'IA élaborés par le secteur privé et les universités. Cela mérite plus ample discussion, car les valeurs néolibérales semblent omniprésentes dans la conception des systèmes d'IA, non seulement par les entreprises, mais aussi par les universités financées par les fonds publics destinés à “l'innovation” et au progrès commercial.

Pourquoi un cadre théorique transféministe ?

Comme nous l'avons vu, dans ces exemples d'usage de ces technologies, certains programmes publics de lutte contre la pauvreté en Amérique Latine reflètent une cadre de pensée positiviste, où la réalité semble être mieux comprise et modifiée si l'on peut quantifier chaque aspect de la vie. Cette logique va aussi dans le sens d'une vision plaçant les humains dans une quête de “progrès”, qui est compris comme synonyme d'une augmentation de la production et de la consommation, et qui signifie en fin de course l'exploitation des corps et des territoires.

Tous ces chiffres et toutes ces mesures concernant les vies des personnes défavorisées sont recueillis, compilés et analysés dans une logique de “productivité” pour, au final, soutenir le capitalisme, l'hétéropartriarcat, la suprémacie blanche et le colonialisme de peuplement. Même si le discours de la “mesure de soi” (quantified self) semble se concentrer sur l'individu, il ne laisse aucune place à la reconnaissance des différents niveaux d'exercice de la conscience humaine, ni à des formes alternatives d'existence ou à la cultivation de pratiques communautaires.

Il faut absolument prendre conscience de la façon dont nous créons des approches méthodologiques du traitement des données, afin que celles-ci puissent remettre en question les grilles d'analyse positivistes et la domination des méthodes quantitatives qui semblent gagner du terrain dans le développement et la mise en application actuels des algorithmes et des processus de décision automatisés.

Comme l'explique Silvia Rivera Cusicanqui :

How can the exclusive, ethnocentric “we” be articulated with the inclusive “we” – a homeland for everyone – that envisions decolonization? How have we thought and problematized, in the here and now, the colonized present and its overturning?

Comment un “nous” exclusif et ethnocentré peut-il s'articuler avec un “nous” inclusif – un territoire d'appartenance pour tous et toutes – qui imagine la décolonisation ? Comment avons-nous pensé et problématisé, ici et maintenant, le présent colonisé et son renversement?

Au-delà même du cadre théorique des droits humains, les approches décoloniales et transféministes des technologies sont d'excellents outils pour imaginer des futurs alternatifs et renverser la logique dominante dans laquelle les systèmes d'IA évoluent. Les valeurs transféministes doivent être intégrées à ces systèmes, de sorte que les progrès technologiques nous aident à comprendre et à briser ce que l'universitaire féministe noire Patricia Hill Collins appelle “la matrice de domination” (en prenant en compte différentes strates d'oppression : en termes de race, de classe, de genre, de religion et d'autres aspects de l'intersectionnalité). Cela nous guidera vers un avenir où l'on soutient et préserve non seulement les droits humains mais aussi la justice sociale et environnementale, car ces deux volets sont au cœur des théories féministes décoloniales.

Ré-imaginer le futur

Pour mettre en pratique cette approche féministe, Coding Rights, en partenariat avec le Studio de Co-Design du MIT [en], a créé un jeu expérimental [en] que nous appelons “L'Oracle pour des futurs transféministes”. À travers une série d'ateliers, nous avons mis en commun nos idées sur le type de valeurs transféministes qui nous inspirent et nous aident à imaginer des scénarios futurs. Comme l'a fait remarquer l'auteure de fiction spéculative Ursula Le Guin :

The thing about science fiction is, it isn't really about the future. It's about the present. But the future gives us great freedom of imagination. It is like a mirror. You can see the back of your own head.

Ce qui est intéressant dans la science fiction, c'est qu'il ne s'agit pas vraiment du futur. On y parle du présent. Mais le futur nous donne une grande liberté d'imagination. C'est comme un miroir. Vous pouvez voir l'arrière de votre tête.

De fait, des propositions tangibles de changement dans le présent ont émergé une fois que nous nous sommes autorisé.e.s à imaginer le futur lors de ces ateliers. Au fil du temps, des valeurs telles que le contrôle de la personne sur sa propre vie, la transparence, l'autonomie, la justice sociale, les identités non-binaires, la coopération, la décentralisation, le consentement, la diversité, les principes décoloniaux, l'empathie et la sécurité, sont apparues lors de nos rencontres.

L'analyse d'une ou deux de ces valeurs prises ensemble [en] nous a fourni un outil d'évaluation d'un projet d'IA ou de sa mise en œuvre au regard de ce cadre féministe décolonial. Sur cette base, nous pouvons proposer des technologies ou des pratiques alternatives qui sont davantage en cohérence avec le présent et le futur que nous souhaitons.