Opt-out : quels éditeurs français interdisent ou autorisent les robots crawlers de l’IA générative ?

Pour entraîner leurs grands modèles de langage (LLM) et fournir des réponses en temps réel dans leurs assistants, les fournisseurs d’outils d’intelligence artificielle générative ont besoin de collecter des contenus du web, notamment des articles d’information. Selon une étude publiée en 2021, la moitié du top 20 des sources du corpus anglais de Common Crawl, sur lequel se sont appuyés Open AI et Google, est composée de sites de presse – New York Times, LA Times, Forbes, HuffPost, etc. Les éditeurs s’en inquiètent et font parfois valoir leurs droits, notamment en appliquant, pour certains, le droit d’opposition (opt-out) prévu par les articles 3 et 4 (exception TDM, pour « Text and Data Mining ») de la directive européenne de 2019 sur le droit d’auteur et les droits voisins. 

Mais ils y voient aussi parfois de nouveaux partenaires pour rendre leurs contenus visibles et les monétiser, notamment via des accords de licence.

En août 2023, OpenAI a présenté GPTBot et ChatGPT-User, deux crawlers destinés à enrichir ses modèles. Google, qui développe Bard et Vertex AI, a fait de même le 28 septembre 2023 avec Google-Extended. En permettant une identification claire de leurs robots, ces sociétés donnent la possibilité aux éditeurs de les bloquer s’ils ne souhaitent pas voir leurs contenus exploités : il leur suffit d’ajouter une instruction sur leurs fichiers robots.txt (voir méthodologie). Depuis, le nombre de sociétés qui entraînent des modèles d’IA ou qui proposent des assistants ou des « moteurs de réponse » s’appuyant sur cette technologie, a considérablement augmenté, et avec elles le nombre de robots qui convoitent les contenus des éditeurs (images, articles, vidéos…).

Quels choix éditeur par éditeur ?

Depuis fin août 2023, mind Media surveille une fois par jour les fichiers robots.txt d’un peu plus de 350 sites pour savoir s’ils interdisent ou autorisent l’accès à leurs contenus aux bots des acteurs de l’IA générative.