Mise à jour du 29 septembre 2023 : chaque vendredi, nous mettons à jour les chiffres concernant le blocage des robots. Nous avons également ajouté une colonne relative au blocage des robots crawlers de Google pour ses dispositifs d’IA générative. Les sites utilisant TDM Reservation protocol sont également identifié dans une base de données distincte.
Depuis quelques mois, avec la généralisation de l’usage des outils d’intelligence artificielle générative, les éditeurs s’inquiètent de l’exploitation qui sera faite de leurs contenus. En réaction, de nombreux médias anglo-saxons dont le New York Times, CNN, Reuters et la chaîne australienne ABC ont récemment choisi de bloquer le robot crawler de ChatGPT, GPTBot, a relevé le Guardian vendredi 25 août.
En pratique, les éditeurs concernés procèdent en ajoutant à leur fichier robots.txt, destiné à paramétrer les autorisations de crawling sur les sites, une mention “User-agent: GPTBot” suivi de “Disallow: /” – un protocole détaillé dans un billet de blog par OpenAI il y a quelques semaines.
Datajournalisme, économie et numérique. J’enseigne aussi le journalisme de données à l’EDJ de Sciences Po Paris.