Yarmouk, Syrie. Une zone endommagée par les frappes aériennes et les combats entre le régime et les rebelles. Photo d'Ahmad Shihabi, utilisée avec autorisation.
Cet article est publié dans le cadre d'un partenariat éditorial entre Global Voices et Ranking Digital Rights [1].
Une récente vidéo [2] sur le canal YouTube d'Orient News montre une scène qui n'est que trop familière aux habitués de la chaîne. Le personnel d'un hôpital chirurgical dans la province syrienne d'Idlib fonce opérer un homme qui vient d'être blessé dans une explosion. La caméra fait un panoramique vers le bas et montre trois corps au sol. L'un est immobile, les deux autres sont sous des couvertures. Un homme se penche et jette un coup d’œil sous la couverture, peut-être pour savoir s'il connaît la victime.
Le média d'information syrien Orient News [3] est l'un de ces nombreux petits organes de médias qui ont joué un rôle crucial pour documenter de la guerre civile en Syrie et mettre sous le regard public les preuves vidéo des violences contre les civils. Actif depuis 2008, le collectif appartient à et est opéré par un critique affirmé du régime.
A côté de canaux de distribution propres, YouTube est un véhicule opérant pour mettre des vidéos telles que celle-ci à la portée d'une plus large audience. Ou du moins l'était, jusqu'en août 2017 lorsque, sans préavis, la chaîne YouTube d'Orient News a été suspendue.
Après des demandes d'explications du collectif, aux côtés d'autres petits médias comme Bellingcat [4], Middle East Eye [5] et Syrian Archive [6] — qui ont tous également constaté la disparition de plusieurs de leurs vidéos — il s'est avéré que YouTube avait retiré des centaines de vidéos qui paraissaient inclure un contenu “extrémiste”.
Ce qui a laissé ces groupes perplexes. Depuis des années ils postaient leurs vidéos, contenant toujours des légendes et des coordonnées pour le contexte. Pourquoi soudain étaient-elles considérées comme à risque pour la masse immense d'utilisateurs de YouTube ?
Parce qu'il y avait un nouveau type d'autorité à la manœuvre.
Juste avant les retraits mystérieux, YouTube annonçait son déploiement [7] d'intelligence artificielle pour identifier et censurer “le contenu choquant ou extrémiste”, en vue de sévir contre l'EI et des groupes similaires qui se sont servis [8] des médias sociaux (YouTube [9], Twitter [10] et le désormais défunt Google Plus [11]) pour mettre en ligne des images macabres d'exécutions et recruter des combattants.
Des milliers de vidéos documentant des crimes de guerre et des violations de droits humains [12] ont été balayées et censurées dans cette purge dopée à l’intelligence artificielle. Quand les collectifs ont questionné YouTube sur l'opération, la compagnie a admis [13] avoir fait le “mauvais choix’’ sur de nombreuses vidéos, qui ont été rétablies dans la foulée. D'autres sont restées bannies, à cause de “contenu violent et choquant”.
Le mythe de l'auto-régulation
Les entreprises comme Google (qui possède YouTube), Facebook et Twitter ont des raisons légitimes de prendre des mesures spéciales s'agissant de violences choquantes et de contenus associés à des groupes extrémistes violents — qui peuvent mener à des situations de dommages dans la vie réelle et peuvent aussi être nuisibles pour les affaires. Mais la question de savoir comment ces entreprises doivent identifier et retirer ces types de contenus, tout en préservant les preuves essentielles de crimes de guerre et de violence, est loin d'avoir trouvé une réponse.
Ces entreprises ont fait évoluer leurs conditions d'utilisation [14] au long des années pour reconnaître que tous les contenus violents ne visent pas à promouvoir la violence ou y inciter. Quand YouTube, comme d'autres plateformes, n'autorise pas [14] la plupart des contenus extrémistes ou violents, il permet pourtant aux utilisateurs de publier de tels contenus dans “un contexte informatif, documentaire, scientifique ou artistique”, en les incitant à fournir une information contextuelle sur la vidéo.
Mais, avertissent les conditions d'utilisation : “Dans certains cas, le contenu peut être si violent ou choquant qu'aucune quantité de contexte ne permettra à ce contenu de se maintenir sur nos plateformes”. YouTube ne donne aucune information publique décrivant comment les mécanismes internes déterminent quelles sont les vidéos qui sont “si violentes ou choquantes”.
Des collectifs comme The Syrian Archive se donnent beaucoup de peine pour documenter les détails contextuels des vidéos. Cette capture d'écran de leur base de données montre des vidéo-clips, une carte, d'autres métadonnées et un récit d'une attaque au gaz sarin suspectée en 2013 à Damas.
Une approche qui place l'entreprise dans une position précaire. Elle évalue le contenu destiné à la consommation du public, sans pour autant posséder de mécanisme assurant la transparence ou la responsabilité publique sur ces évaluations. L'entreprise crée ses propres règle et les change à son gré, pour servir ses propres intérêts.
La proposition de l'UE pourrait rendre les solutions d'IA obligatoires
Un comité de la Commission européenne menace de s'imposer dans ce scénario, avec une proposition de règlement qui forcerait les entreprises à intensifier leurs retraits de “contenus à caractère terroriste” sous peine de fortes amendes. Si le règlement est susceptible de briser le cycle d'essais-échecs des entreprises à s’ “auto-réguler”, il pourrait rendre la vie plus difficile à des collectifs comme Orient News.
Que dit la proposition de la Commission ?
Selon la proposition [15], visant à la “prévention de la diffusion de contenus à caractère terroriste en ligne”, les fournisseurs de service sont requis de “prendre des mesures proactives pour protéger leurs services contre la diffusion de contenus à caractère terroriste”. Ces mesures comprennent l'utilisation d'outils automatisés pour : “(a) empêcher efficacement la réapparition de contenu précédemment retiré ou dont l'accès a été désactivé parce qu'il est considéré comme du contenu à caractère terroriste ; (b) détecter, identifier et retirer ou désactiver avec diligence l'accès au contenu à caractère terroriste”, stipule l'article 6(2).
Si elle était adoptée, la proposition [16] exigerait aussi des “fournisseurs de services d'hébergement qu'ils retirent les contenus à caractère terroriste ou en désactivent l'accès dans l'heure de réception de l'ordre de retrait”.
Elle confère en outre à la police ou à Europal le pouvoir d’ “envoyer une recommandation” aux hébergeurs en vue de leur “considération volontaire”. Le fournisseur de service évaluera le contenu recommandé “selon ses propres règles et conditions et décidera s'il doit retirer ce contenu ou en désactiver l'accès”.
Le projet de règlement [16] exige une suppression plus agressive de ce type de contenu, et des délais de réponse rapides pour leur retrait. Mais il n'instaure pas de juridiction dédiée ou autre mécanisme judiciaire pouvant offrir des lignes de conduite aux entreprises peinant à évaluer des contenus en ligne complexes.
Au contraire, il contraindrait les fournisseurs de services d'hébergement à user d'outils automatisés pour prévenir la diffusion de “contenus à caractère terroriste” en ligne. Ce qui exigerait des entreprises qu'elles utilisent le type de système déjà mis en place de son propre chef par YouTube.
La proposition de l'UE accorde une grande confiance à ces outils, et néglige le fait que les utilisateurs, les techniciens spécialistes et même les législateurs eux-mêmes, restent largement dans l'obscurité sur le mode de fonctionnement de ces technologies.
L'IA peut-elle réellement évaluer l'élément ‘droits humains’ d'une vidéo ?
Les outils automatisés peuvent être entraînés à évaluer si une vidéo est violente ou choquante. Mais comment vont-ils déterminer son objectif visé ? Comment sauront-ils si la personne qui a posté la vidéo tentait de documenter le coût humain de la guerre ? Ces technologies peuvent-elles réellement comprendre le contexte dans lequel ces incidents prennent place ? Et dans quelle mesure les modérateurs humains jouent-ils un rôle dans ces décisions ?
Ce sont des questions auxquelles nous n'avons pratiquement aucune réponse.
“Nous n'avons pas les garanties les plus élémentaires de responsabilité [17] ou de transparence algorithmique [18], comme l'exactitude, l'intelligibilité, l'impartialité, et la vérifiabilité. Les plateformes utilisent des algorithmes d'apprentissage-machine propriétaires et à l'abri de tout examen”, a écrit Dia Kayyali de WITNESS dans un billet de blog [19] de décembre 2018.
Les détracteurs de la proposition arguent que contraindre tous les fournisseurs de services à se reposer sur des outils automatisés dans leur action pour supprimer les contenus extrémistes et à caractère terroriste, sans transparence ni encadrement approprié, est une menace contre la liberté d'expression et un web ouvert.
Les rapporteurs spéciaux de l'ONU sur la promotion et la protection du droit à la liberté d'opinion et d'expression, le droit à la vie privée, et la promotion et protection des droits humains et libertés fondamentales dans la lutte contre le terrorisme ont également fait part de leurs inquiétudes [20] à la Commission. Dans un mémorandum de décembre 2018, ils ont écrit :
Considering the volume of user content that many hosting service providers are confronted with, even the use of algorithms with a very high accuracy rate potentially results in hundreds of thousands of wrong decisions leading to screening that is over — or under — inclusive.
Considérant le volume de contenus d'utilisateurs auquel sont confrontés les fournisseurs de service d'hébergement, même l'utilisation d'algorithmes à taux très élevé d'exactitude a un potentiel de milliers de décisions erronées conduisant à sélectionner trop large ou pas assez.
Dans le considérant 18, la proposition évoque les mesures que peuvent prendre les fournisseurs de services d'hébergement pour prévenir la diffusion de contenu lié au terrorisme, dont l'utilisation d'outils qui “empêcheraient de remettre en ligne un contenu à caractère terroriste”. Communément appelés filtres de chargement (upload filters), ces outils inquiètent particulièrement les groupes européens de défense des droits numériques. La question est venue pour la première fois sur le tapis pendant la campagne de l'UE pour une Directive sur le Droit d'auteur, qui aurait requis [21] des plateformes qu'elles vérifient la propriété d'un élément de contenu mis en ligne par un utilisateur.
“Nous craignons un détournement d'usage’’, a déclaré Evelyn Austin de l'organisation de droits numériques basée aux Pays-Bas Bits of Freedom lors d'une conférence publique [22].
We see as inevitable a situation in which there is a filter for copyrighted content, a filter for allegedly terrorist content, a filter for possibly sexually explicit content, one for suspected hate speech and so on, creating a digital information ecosystem in which everything we say, even everything we try to say, is monitored.
Nous voyons venir inéluctablement la situation où il existera un filtre pour le contenu sous droit d'auteur, un filtre pour contenu suspecté terroriste, un filtre pour contenu susceptible d'être sexuellement explicite, un autre pour propos haineux suspectés, et ainsi de suite, ce qui créerait un écosystème d'information numérique dans lequel tout ce qu'on dit, et même tout ce qu'on essaie de dire, est surveillé.
Austin a relevé que ces mécanismes ébranlent les stratégies précédentes qui se fiaient plus fortement au respect de procédures établies.
Upload filtering….will replace notice-and-action mechanisms, which are bound by the rule of law, by a process in which content is taken down based on a company's terms of service. This will strip users of their rights to freedom of expression and redress…
Le filtrage des chargements… remplacera les mécanismes de notification et d'action, qui sont liés par la règle de droit, par une procédure dans laquelle le contenu est retiré selon les conditions d'utilisation fixées par l'entreprise. Cela dépouillera les utilisateurs de leurs droits à la liberté d'expression et de rectification…
Le projet de proposition de l'UE applique aussi de sévères pénalités financières aux entreprises qui n'obtempèrent pas. Pour une seule société, cela peut atteindre 4% de son chiffre d'affaires mondial de l'exercice précédent.
L'organisation française de droits numériques La Quadrature du Net [23] a produit une solide critique de la proposition, et relevé les restrictions qu'elle instaurerait pour les sites et services internet plus modestes :
D’un point de vue humain, technique et économique, seules les grandes plateformes qui appliquent déjà ces mesures depuis qu’elles collaborent avec les polices européennes seront capables de respecter ces obligations : Google, Facebook et Twitter en tête. Les autres acteurs n’auront d’autres choix que de cesser leur activité d’hébergement ou (moins probable, mais tout aussi grave) de sous-traiter aux géants l’exécution de leurs obligations.
Par les “outils de modération (filtrage automatique et listes de blocage) développés par Facebook et Google depuis 2015 avec le soutien de la Commission européenne”, avertit [24] La Quadrature du Net, “ces multinationales deviendront donc les juges de ce qui peut être dit sur Internet. La structure riche, variée et décentralisée du Web est vouée à disparaître.”
De fait, plus grave encore que d'encourager l’ “auto-régulation”, la proposition de l'UE va nous éloigner davantage d'un monde où les procédures prévues par la loi ou d'autres mécanismes de contrôle public sont utilisés pour décider de ce qui se dit et se voit en ligne, et nous rapprocher d'une étroite dépendance à des technologies propriétaires déterminant quelles sortes de contenus sont appropriés pour la consommation publique, sans aucun mécanisme de supervision publique.