Cet article a été rédigé par Safa dans le cadre du projet de recherche « Digitized Divides » publié à l'origine sur tacticaltech.org. Une version éditée est republiée par Global Voices dans le cadre d'un partenariat.

Les termes que nous utilisons pour décrire la technologie peuvent façonner la façon dont nous la percevons. Le mot « intelligent » a une connotation positive la plupart du temps mais lorsqu'on parle de technologie, « intelligente » est habituellement interchangeable avec « efficace ».  Imaginons un instant qu'au lieu d'appeler ces systèmes de surveillance « intelligents » nous les appelions  “machiavéliques” — comment ceci changerait-il notre discours, notre acceptation et notre adoption de ces derniers ?

Des systèmes non fiables

Les outils de surveillance et de contrôle, tels que la télésurveillance, s'appuient sur la technologie de reconnaissance faciale qui identifie automatiquement les traits du visage, notamment des dimensions comme la distance entre les yeux, la largeur du nez, la profondeur des orbites oculaires, la forme des pommettes et la longueur de la mâchoire. La reconnaissance faciale est utilisée par les gouvernements, la police, et d'autres administrations à travers le monde. Elle produit des résultats probants.

Une opération sans précédent menée par les forces de l'ordre américaines a permis d'identifier des centaines d'enfants et leurs agresseurs en seulement trois semaines. Cette technologie a également été utilisée pour retrouver des personnes autochtones disparues et assassinées (MMIP en anglais pour Missing and Murdered Indigenous People), ce qui a permis à 57 familles de trouver des réponses en seulement trois ans. Bien que ces résultats soient effectivement impressionnants et bien qu'ils montrent comment la technologie peut aider les gens, il existe un grand nombre de cas où les forces de l'ordre américaines ont utilisé la reconnaissance faciale d'une manière ayant porté préjudice à des individus.

Une application du nom de CBP One, dont l'utilisation est obligatoire pour les demandeurs d'asile à la frontière entre les États-Unis et le Mexique, exige que ces derniers s'inscrivent à un système de reconnaissance faciale. Cependant, ce système « [ne parvient pas] à inscrire de nombreuses personnes dont la couleur de peau est plus foncée, les privant ainsi de leur droit de demander l'asile aux États-Unis. » Les systèmes centralisant les données sur des demandeurs d'asile et des migrants permettent un suivi longitudinal des enfants. Des technologies de reconnaissance faciale sont également utilisées par l'ICE (l'agence américaine chargée de l'immigration et des douanes) pour surveiller et contrôler les individus en attente de leur jugement d'expulsion.

Dans une étude sur les systèmes de reconnaissance faciale, Joy Buolamwini, chercheuse au MIT, a constaté « que les femmes ayant une peau plus foncée étaient le groupe le moins bien classé le plus souvent (avec des taux d'erreur pouvant atteindre les 34,7%). Le pourcentage d'erreur maximal pour les hommes est de 0,8% ».  Alex Najibi, chercheur à Harvard, a décrit comment les Afro-Américains sont plus susceptibles d'être arrêtés et incarcérés que les Américains blancs pour des délits mineurs.  Par conséquent, les Noirs sont surreprésentés dans les données des photos  d'identité pénale que la reconnaissance faciale utilise pour faire des prédictions, ce qui explique pourquoi les Afro-Américains sont plus susceptibles que les Américains blancs d'être pris au piège des cercles vicieux et du caractère raciste des systèmes de surveillance et de contrôles policiers.

Ce sentiment est repris dans un rapport du projet S.T.O.P. (Surveillance Technology Oversight Project). Le Royaume-Uni et la Chine font également partie des pays qui pratiquent la « surveillance prédictive ». Un chercheur spécialisé dans la Chine la décrit comme « un outil plus sophistiqué permettant à la police de réprimer de manière sélective des groupes déjà ciblés, sans pour autant réduire considérablement la criminalité ni renforcer la sécurité globale ». Le problème ici ne réside donc pas simplement dans des ensembles de données imparfaits, mais dans la discrimination qui existe déjà dans la société, où les personnes qui occupent des postes de pouvoir ou disposent de forces policières ou militaires peuvent utiliser la technologie pour renforcer leur oppression de certains groupes de personnes. Des ensembles de données plus importants ne permettront pas de remédier ou de nier le problème des personnes qui agissent sur la base de la discrimination, du racisme — ou d'autres types de préjugés — et de la haine.

Les algorithmes sont créés par des personnes (qui ont naturellement leurs propres préjugés) et sont développés à partir de nos données. Les outils formés à partir de nos données peuvent être utilisés pour nuire à d'autres personnes. Les algorithmes sont également utilisés par les gouvernements, les forces de l'ordre et d'autres agences à travers le monde. Les outils et les services de Google, d'Amazon et de Microsoft ont tous été utilisés par Israël dans sa guerre contre Gaza. Aux États-Unis, des algorithmes ont été utilisés pour évaluer le niveau de risque des individus ayant commis des crimes, dans le but de prédire leur probabilité de récidive. Cependant, ces algorithmes ont été jugés comme étant « extrêmement peu fiables » par des chercheurs et présentent un degré élevé de partialité dans leur conception et leur mise en oeuvre.

En Espagne, un algorithme a été utilisé pour prédire la probabilité qu'une victime de violence domestique soit à nouveau agressée, dans le but de fournir une assistance et des ressources aux personnes qui en ont le plus besoin, dans un système surchargé. Mais l'algorithme n'est pas parfait et le recours excessif à des outils aussi imparfaits dans des situations à haut risque a déjà des conséquences désastreuses. Dans certains cas, des victimes classées à tort comme « à faible risque » ont été assassinées par leurs agresseurs malgré tous leurs efforts d'appel à l'aide et de signalement des violences aux autorités.

Aux Pays-Bas, les autorités fiscales ont utilisé un algorithme pour les aider à identifier les fraudes aux allocations familiales, ce qui a conduit à la sanction de dizaines de milliers de familles à faibles revenus, dont beaucoup sont tombées dans la pauvreté, et au placement injustifié de plus d'un millier d'enfants en famille d'accueil. « La double nationalité était considérée comme un indicateur de risque important, tout comme les faibles revenus [… et] la nationalité turque ou marocaine ont fait l'objet d'une attention particulière. »

Israël surveille et opprime les Palestiniens

L’industrie israélienne de la surveillance est mondialement connue. Un rapport publié en 2023 par Amnesty International a cartographié le système de surveillance israélien visible et il recensait une ou deux caméras de vidéosurveillance tous les cinq mètres dans la vieille ville de Jérusalem et à Sheikh Jarrah, à Jérusalem-Est.

Depuis 2020, Israël utilise le système « Wolf Pack » géré par l'armée. Il s'agit d'une base de données vaste et détaillée qui établit le profil de presque tous les Palestiniens de Cisjordanie, avec notamment leurs photos, leurs liens familiaux, leur niveau d'éducation, etc. Le système Wolf Pack comprend les outils « Red Wolf », «White Wolf » et « Blue Wolf » :

• Red Wolf : Le système Red Wolf fait partie de l'infrastructure officielle de reconnaissance faciale des caméras de surveillance du gouvernement israélien; celui-ci sert à identifier et à établir le profil des Palestiniens lorsqu'ils passent les postes de contrôle et se déplacent dans les villes. Il a été rapporté que l'armée israélienne utilisait Red Wolf dans la ville palestinienne d'Hébron. Selon un projet mené par B'Tselem et Breaking the Silence, l'armée israélienne aurait mis en place 86 points de contrôle et barrières sur 20 % du territoire d'Hébron, appelé « H2 », qui est sous contrôle militaire israélien. Il est difficile d'éviter les postes de contrôle à H2. Comme l'écrit Masha Gessen, les Palestiniens qui y vivent « passent par un poste de contrôle pour faire leurs courses, puis à nouveau pour les ramener chez eux ». Selon l'UNRWA, 88 % des enfants franchissent des postes de contrôle pour se rendre à l'école et en revenir.
• White Wolf : Une autre application, White Wolf, est mise à la disposition des militaires israéliens officiels qui surveillent les colonies illégales en Cisjordanie, leur permettant d’effectuer des recherches dans la base de données des Palestiniens. Depuis le début de la guerre menée par Israël contre Gaza après les attaques perpétrées le 7 octobre 2023 par le Mouvement de résistance islamique (alias Hamas) contre des Israéliens, Israël a mis en place un système similaire de reconnaissance faciale pour enregistrer les Palestiniens de Gaza.
• Blue Wolf : À l'aide d'une application appelée Blue Wolf, l'armée israélienne procède à un enregistrement biométrique massif des Palestiniens, souvent aux postes de contrôle et sous la menace d'une arme, parfois au domicile des personnes concernées, en pleine nuit. Les soldats israéliens prennent des photos des Palestiniens, y compris des enfants, parfois de force. Ils notent également dans l'application toute « impression négative [qu'ils] ont du comportement d'un Palestinien lorsqu'ils le rencontrent ». Une source a ajouté : « Ce n'est pas comme si l'armée avait dit : « Créons Blue Wolf pour que [les Palestiniens] puissent passer plus facilement ». L'armée veut enregistrer les personnes dans son système pour pouvoir les contrôler. »

Un article publié en 2025 a également révélé comment l'armée israélienne utilisait un grand modèle de langage (tel que celui utilisé par des outils comme ChatGPT) pour surveiller les Palestiniens. Une source des services de renseignement israéliens a déclaré : « Je dispose de plus d'outils pour savoir ce que fait chaque personne en Cisjordanie. Lorsque vous détenez autant de données, vous pouvez les utiliser de toutes sortes de manières. » Bien que l'exemple de l'armée israélienne ne soit pas le seul exemple d'autorisation donnée par le gouvernement d'utiliser des outils d'IA pour analyser des données civiles, il offre un aperçu important de la manière dont les dernières technologies peuvent être adoptées pour surveiller et contrôler à grande échelle.

Comme l'a déclaré le chercheur Carlos Delclós, « la protection de la vie privée n'est pas simplement violée, elle est anéantie, car les vies humaines sont fragmentées en ensembles de données optimisés pour le profit des entreprises », et le même message peut être étendu au profit politique. Que l'on parle de la technologie en termes positifs ou négatifs, en fin de compte, la technologie elle-même ne peut être dissociée des opérateurs (c'est-à-dire des humains) qui la déploient. Si les individus qui utilisent ces technologies vivent également dans des sociétés — et travaillent au sein de systèmes — qui ont fait l'objet de craintes avérées en matière de discrimination et/ou de contrôle, il semble tout à fait possible que la technologie soit utilisée à des fins malveillantes. Il n'y a rien à imaginer ; il suffit d'ouvrir grand les yeux et de regarder autour de nous.