Série
Cet article est la première partie d’une enquête sur le contenu des fichiers robots.txt des éditeurs français.
- IA, veille, publicité, agrégation de contenus… Quels sont les robots crawlers que les éditeurs français bloquent ou autorisent sur leurs sites ?
- Quelle est l’attitude des éditeurs vis-à-vis des robots crawlers ?
La généralisation de l’IA générative a mis en lumière l’importance des contenus des éditeurs d’information pour de nombreux acteurs tiers. Pour entraîner leurs grands modèles de langage (LLM) et formuler les réponses les plus actuelles et précises, les fournisseurs d’outils d’intelligence artificielle générative ont en effet besoin de collecter des contenus du web, notamment des articles d’information. Selon une étude publiée en 2021, la moitié du top 20 des sources du corpus anglais de Common Crawl, sur lequel se sont appuyés Open AI et Google, est composée de sites de presse – New York Times, LA Times, Forbes, HuffPost, etc.
Mais les LLM sont loin d’être les seuls à convoiter articles, commentaires ou signatures des journalistes. Pour faire du référencement, surveiller la réputation d’entreprises clientes ou constituer des bases de données, une multitude d’entreprises se sont spécialisées dans le crawl massif.
“Parmi tous les robots qui visitent les sites des éditeurs, certains sont parfaitement légitimes, en particulier les grands moteurs de recherche et les grands réseaux sociaux, explique Benjamin Fabre, fondateur de DataDome, société spécialisée dans la lutte contre les robots malveillants et la fraude en ligne. Viennent ensuite des acteurs qui ont pu être mandatés par les éditeurs eux-mêmes, comme “des outils techniques, par exemple ceux qui facilitent le tracking de la performance ou de la disponibilité du site, ou bien ceux qui aident à optimiser le SEO. Citons aussi ceux qui proviennent de sociétés de monétisation publicitaire.”
Pour prendre la mesure du phénomène, et mieux en saisir les enjeux, mind Media a récupéré les fichiers robots.txt de 150 des principaux éditeurs français, en avril 2024, représentant 343 marques distinctes, puis les a analysés. Ces fichiers, librement accessibles après la racine de leurs URL – par exemple sur lemonde.fr/robots.txt -, sont en effet l’une des armes, certes imparfaite, dont les éditeurs disposent pour indiquer aux “agents” qu’ils ont, ou non, le droit d’y récupérer du contenu, sur l’ensemble du site ou seulement quelques pages.