Opt-out : quels éditeurs français interdisent les robots crawlers de l’IA générative ?

Pour entraîner leurs grands modèles de langage (LLM), les fournisseurs d’outils d’intelligence artificielle générative ont besoin de collecter des contenus du web, notamment des articles d’information. Selon une étude publiée en 2021, la moitié du top 20 des sources du corpus anglais de Common Crawl, sur lequel se sont appuyés Open AI et Google, est composée de sites de presse – New York Times, LA Times, Forbes, HuffPost, etc. Les éditeurs s’en inquiètent et font valoir leurs droits, notamment en appliquant, pour certains, le droit d’opposition (opt-out) prévu par les articles 3 et 4 (exception TDM, pour “Text and Data Mining”) de la directive européenne de 2019 sur le droit d’auteur et les droits voisins. 

En août 2023, OpenAI a présenté GPTBot et ChatGPT-User, deux crawlers destinés à enrichir ses modèles. Google, qui développe Bard et Vertex AI, a fait de même le 28 septembre 2023 avec Google-Extended. En permettant une identification claire de leurs robots, ces sociétés donnent la possibilité aux éditeurs de les bloquer s’ils ne souhaitent pas voir leurs contenus exploités : il leur suffit d’ajouter une instruction sur leurs fichiers robots.txt (voir méthodologie). Depuis, le nombre de sociétés qui entraînent des modèles d’IA ou qui proposent des assistants ou des “moteurs de réponse” s’appuyant sur cette technologie, a considérablement augmenté, et avec elles le nombre de robots qui convoitent les contenus des éditeurs (images, articles, vidéos…).

Depuis fin août 2023, mind Media surveille une fois par jour les fichiers robots.txt d’un peu plus de 300 sites pour savoir s’ils interdisent leurs contenus aux bots des acteurs de l’IA générative.

Le laboratoire de développement EDRLab, installé à Paris, a créé un protocole dédié à permettre plus de finesse dans le contrôle des droits, dans un langage lisible par machine, face aux pratiques de récupération de données et de texte. Baptisé TDM Reservation Protocol (TDMRep) – où “TDM” est une contraction de “text and data mining” – il permet aux éditeurs d’indiquer si les droits de contenus web spécifiques sont réservés, comment ils souhaitent être contactés, et le cas échéant quelle licence peut être appliquée. En pratique, cela passe par l’ajout d’instructions dans le code HTML ou l’en-tête HTTP de leur site, ou sur un fichier json hébergé sur leurs serveurs (voir méthodologie). En France, Le Geste recommande à ses membres l’utilisation de ce protocole. 

Depuis fin septembre 2023, nous surveillons près de 400 sites d’éditeurs français majeurs pour savoir s’ils ont adopté TDMRep. Ci-dessous, consultez la liste de ceux qui ont pris cette décision :