Série
Cet article est la deuxième et dernière partie d’une enquête sur le contenu des fichiers robots.txt des éditeurs français.
- IA, veille, publicité, agrégation de contenus… Quels sont les robots crawlers que les éditeurs français bloquent ou autorisent sur leurs sites ?
- Quelle est la stratégie des éditeurs vis-à-vis des robots crawlers ?
Pour faire de la veille pour leurs clients, agréger des contenus pour leurs services, entraîner leurs modèles d’intelligence artificielle ou encore optimiser les revenus par la publicité, des centaines de sociétés missionnent des robots crawlers en quête de contenus sur les sites des éditeurs français. Dans la première partie de cette enquête, mind Media en a trouvé 417 différents dans les fichiers robots.txt de 343 sites appartenant à 150 éditeurs français. Ils ont la possibilité d’y autoriser ou non la visite des crawlers sur leurs pages.
Des fichiers utilisés surtout pour interdire
L’analyse de ces fichiers montre qu’ils les utilisent surtout pour interdire nommément certains acteurs, parfois en très grand nombre. Par exemple, Le Parisien cite 219 agents différents, dont 213 auxquels il interdit le crawl, et seulement six qu’il autorise à consulter tout ou partie de ses pages. Il s’agit en particulier de Mediapartners-Google (publicité), de deux bots du service d’agrégation Flipboard, et des agents du moteur de recherche de Google, Googlebot-News et Googlebot-Image.