• Contenus gratuits
  • Notre offre
Menu
  • Ressources
    • Toutes les ressources
  • Infos
    • Toutes les infos
  • Essentiels
    • Tous les essentiels
  • Analyses
    • Toutes les analyses
  • Data
    • Data
  • Newsletters
  • Profil
    • Je teste 15 jours
    • Je me connecte
  • Profil
    • Mon profil
    • Je me déconnecte
CLOSE

Accueil > Adtechs & Martechs > IA et monétisation des contenus : comment l’IAB Tech Lab veut contrôler les robots crawlers 

IA et monétisation des contenus : comment l’IAB Tech Lab veut contrôler les robots crawlers 

Depuis juin, l’IAB Tech Lab travaille à l’élaboration d’un protocole technique visant à harmoniser les modalités d’accès des robots crawlers aux sites des éditeurs. L’objectif : organiser la monétisation de leurs contenus, en normant des méthodes de paiement. 

Par Chiara De Martino. Publié le 05 septembre 2025 à 10h31 - Mis à jour le 05 septembre 2025 à 16h01
  • Ressources

Mardi 12 août, l’IAB Tech Lab a annoncé la formation officielle du groupe de travail “AI Content Monetization Protocols (CoMP)”, précédemment présenté sous le nom de “LLM Content Ingest API”. Lancé en juin lors du sommet annuel de l’IAB Tech Lab, ce projet vise à proposer un cadre technique commun à tous les éditeurs de sites et créateurs de contenu en ligne, leur permettant de mieux contrôler comment les systèmes d’IA générative et les fournisseurs de LLM accèdent à leurs contenus, avec l’objectif de limiter les pertes de trafic et de revenus, et de définir les modalités de monétisation.

Il s’agit d’un enjeu clé pour le secteur, souligne le CEO de l’IAB Tech Lab, Anthony Katsur, auprès de mind Media. Il observe : “Aujourd’hui, lorsqu’on regarde le trafic des médias aux Etats-Unis, on constate que plus de 50 % provient de crawlers légitimes”. Un phénomène qui illustre la rapidité avec laquelle évoluent les usages des consommateurs, avec des baisses de trafic allant de 40 à 70 % pour certains éditeurs aux États-Unis. Cette tendance affecte particulièrement les petits et moyens éditeurs, qui n’ont pas la force de négociation des plus grands producteurs de contenu. Mais, si ces petits médias venaient à disparaître, c’est l’ensemble de l’écosystème publicitaire qui serait directement fragilisé, avertit le CEO de l’IAB Tech.

Consultez notre tracker

Pour faire valoir leurs droits face aux acteurs de l’intelligence artificielle générative, de nombreux éditeurs français ont choisi de leur signifier leur refus d’accès ou de préciser leur position via le TDM Reservation Protocol. mind Media surveille dans un tracker dédié les fichiers robots.txt de plusieurs centaines de sites d’environ 150 éditeurs français majeurs. Consultez les listes dans nos tableaux mis à jour quotidiennement. 

Le cadre technique

Le groupe de travail CoMP vise avant tout à définir des normes techniques communes permettant de monétiser les contenus en ligne dans un écosystème numérique de plus en plus axé sur l’IA. Le cadre technique s’articulera autour de trois éléments clés : le blocage du trafic des bots, pour permettre aux éditeurs de contrôler le scraping indésirable ; l’accompagnement des éditeurs dans l’adoption des outils d’IA pour leur redonner le contrôle sur leurs contenus ; et la mise en place d’un mécanisme unique de monétisation du contenu par le biais d’une participation opt-in des systèmes d’IA.

Trois options de paiement sont pour l’instant envisagées. La première, le “pay per crawl”, permet aux éditeurs de fixer un prix chaque fois qu’un LLM ou un agent d’IA visite leur site web ; “il s’agit du moyen le plus simple de monétiser le contenu”, précise Shailley Singh, executive vice president, product and chief operating officer de l’IAB Tech Lab. Des plateformes telles que Cloudflare, qui a lancé début juillet son projet, ou Tollbit travaillent déjà sur ce type de service. La deuxième option repose sur des accords directs entre les éditeurs et les systèmes d’IA, leur permettant d’avoir accès à l’ensemble des contenus et archives. Comme pour le partenariat conclu entre Le Monde et Perplexity, ce modèle est particulièrement efficace pour les éditeurs disposant de vastes bibliothèques de contenus. 

Enfin, le dernier modèle, privilégié par l’IAB Tech Lab, est le paiement à la requête (pay per query). Celui-ci permettrait aux éditeurs de fixer le prix de leurs contenus en fonction de la demande, via un accès par API, afin que les LLM et agents d’IA puissent consulter des contenus spécifiques à partir des requêtes des utilisateurs. Ce modèle faciliterait une meilleure mesure de l’utilisation réelle des contenus et offrirait aux éditeurs une monétisation plus précise.

Ensuite, le cadre technique de l’IAB Tech Lab prévoit d’introduire la tokenisation du contenu, en attribuant un identifiant unique à chaque portion, pour identifier la source originale de l’information, et indiquer où une compensation est nécessaire, ainsi que le bénéficiaire. Cette dernière étape, correspondant à l’attribution, serait indispensable pour le bon fonctionnement du paiement à la requête.

Quels sont les robots des acteurs de l’intelligence artificielle qui convoitent les contenus des éditeurs ? 

Des enjeux politiques forts

Pour parvenir à la mise en place de ce protocole technique, l’IAB Tech Lab doit d’abord trouver un accord entre les fournisseurs de LLM et les éditeurs, afin de définir quels contenus peuvent être accessibles. Ce n’est qu’ensuite que les éditeurs pourront établir les conditions d’accès. Pour l’instant, seuls Google et Meta, éditeurs de Gemini et Llama, ont participé aux réunions préliminaires du groupe de travail. De leur côté, “OpenAI, Anthropic et Perplexity n’ont même pas répondu à l’appel de l’IAB Tech Lab”, indique Anthony Katsur.

IA générative : face aux robots crawlers, la réponse au cas par cas des éditeurs – mind Media

Selon le CEO de l’IAB Tech Lab, les systèmes d’IA générative “doivent comprendre que la qualité de leurs résultats dépend de la qualité et de la fraîcheur du contenu”. Au contraire, “s’ils ne paient pas pour y accéder, de nombreux sites d’éditeurs disparaîtront tout simplement, ce qui finira par dégrader leurs services”, alerte-t-il. Toutefois, l’implication des principales plateformes et fournisseurs d’IA générative nécessiterait également un soutien politique fort aux initiatives en faveur des droits d’auteur. Au contraire, lors du sommet sur l’IA à Washington en juillet dernier, le président américain Donald Trump a déclaré : “On ne peut pas s’attendre à ce qu’un programme d’IA soit performant si chaque article, livre ou autre chose que vous avez lu ou étudié est payant. On comprend cela, mais on ne peut tout simplement pas le faire, car c’est irréalisable”.

L’explosion du scraping par les robots crawlers d’IA

D’après Infosecurity Magazine, le trafic des robots crawlers a représenté 51 % du trafic web en 2024 (contre 50 % en 2023, 47 % en 2022 et 42 % en 2021), indique l’IAB Tech Lab dans son rapport dédié aux lignes directrices pour l’intégration des LLM et des agents IA par les éditeurs (LLMs and AI Agents Integration Framework). Le Tech Lab cite également le rapport du T4 2024 de Tollbit (“State of the Bots Report Q4 2024”), qui montre une augmentation de 117 % du trafic des bots IA par trimestre, avec des sites crawlés en moyenne 5 millions de fois (7,2 scraps/page) lors du quatrième trimestre. Le crawling caché (1,89 million de crawls/site) est presque équivalent au crawling identifié des bots IA (2 millions / site). Les principaux bots incluent ChatGPT-User (15,6 % du trafic IA, + 6 767 % de croissance par rapport au T3), Bytespider, le robot de ByteDance, la société mère de TikTok (12,4 %) et ClaudeBot (+ 567 % de croissance), le crawler d’Anthropic. Enfin, le rapport indique que 3,3 % des robots crawlers contournent le fichier robots.txt, avec une augmentation de 40 % du crawling non autorisé entre le T3 et le T4.

D’après Matthew Prince, CEO de Cloudflare, cité dans le rapport de l’IAB Tech Lab, le ratio entre les pages aspirées et les visites de sites est passé de 2:1 à 6:1 pour la recherche Google, mais la situation est bien plus marquée pour les LLM avec 250:1 pour ChatGPT et 6000:1 pour Claude. Selon le rapport de Tollbit, les chatbots d’IA génèrent 95,7 % de clics en moins que la recherche traditionnelle, avec un taux de référence de 0,37 % contre 8,63 % pour la page de résultats du moteur de recherche de Google.

Pour l’instant, le Tech Lab indique que plus de 80 personnes ont participé au premier groupe de travail, dont des fournisseurs de cloud (Cloudflare, Fastly, AWS), des start-up proposant des solutions de monétisation de contenu pour les éditeurs (Tollbit, Dappier et ProRata.ai) et des éditeurs, dont le groupe de médias américain Dotdash Meredith et le groupe allemand Bertelsmann, propriétaire de RTL.

Alliance Digitale suit de près le projet

De leur côté, les éditeurs français n’ont pas encore pris directement part au groupe de travail. C’est Alliance Digitale – et plus précisément son CTO, Raphaël Ambit, – qui suit de près le projet pour tous les adhérents “dans cette première phase, qui est encore très technique”, souligne Arthur Millet, directeur général d’Alliance Digitale. 

Si l’organisation professionnelle reconnaît que le projet a le mérite de poser la question de la valeur du contenu, elle met toutefois en avant les nombreuses difficultés de mise en place de ce protocole technique. En particulier, Arthur Millet observe que le développement d’une API permettant aux éditeurs de vendre leurs contenus aux solutions d’IA suppose de mettre en place une forme de hiérarchisation des contenus par les éditeurs eux-mêmes. Il s’agit, pour lui, “de la première fois que l’IAB Tech Lab va sur un terrain qui concerne plus le contenu que la publicité”. Concrètement, pour la mise en place de ce protocole, le Tech Lab prévoit que les éditeurs puissent regrouper leurs contenus en différents niveaux : par exemple, basique (articles ou vidéos d’actualité), contenus d’archives, et contenus premium tels que des articles d’investigation ou des interviews exclusives.

Du point de vue du modèle économique, le directeur général d’Alliance Digitale s’interroge par ailleurs sur la possibilité d’intégrer dans cette API un mécanisme de partage des revenus publicitaires générés par les modèles d’IA générative. Dans un contexte où ces solutions commencent progressivement à intégrer de la publicité, “il faudrait prévoir la possibilité de partager les revenus générés par les abonnements payants et par la publicité qui seront réalisés grâce aux contenus des éditeurs”, estime-t-il.

Alors que les échanges sont en cours, de son côté, l’IAB Tech Lab aimerait avancer assez vite sur ce projet et pense pouvoir soumettre aux commentaires publics une première partie du cadre technique cet automne.

Chiara De Martino
  • Adtech
  • IAB
  • Intelligence artificielle
  • Robots

Besoin d’informations complémentaires ?

Contactez Mind Research

le service d’études à la demande de mind

À lire

IA générative : l’Apig et le SEPM agissent contre le crawling des bases de données publiques 

Entretiens

Bénédicte Wautelet (Le Figaro) : “Toute solution qui utilise de l’IA en rapport avec nos contenus doit y être autorisée et nous rémunérer”

Perplexity rémunérera les éditeurs en fonction de l'usage qu'il fait des contenus

Analyses

IA générative : face aux robots crawlers, la réponse au cas par cas des éditeurs

Cloudflare

Cloudflare lance le "pay per crawl", pour monétiser l'aspiration de contenus par les plateformes d'IA générative

essentiels

Nos synthèses et chiffres sur les principales thématiques du marché

Les mutations du search à l'ère de l'IA générative

L'application inaboutie de la loi sur les droits voisins

Google vs DOJ : tout ce qu'il faut savoir sur le procès qui pourrait redéfinir l'adtech

L’essentiel sur les identifiants publicitaires 

La transformation du marché publicitaire en 2024

2023 : le marché publicitaire doit se préparer à la fin du tracking utilisateur

Comment l’intelligence artificielle générative bouleverse les médias

Les enjeux réglementaires des médias en 2023

analyses

Les articles d'approfondissement réalisés par la rédaction

Adtech : pourquoi la Commission européenne sanctionne Google de près de 3 milliards d’euros 

Retail media : une consolidation indispensable des régies pour répondre aux attentes des acheteurs publicitaires 

IA et monétisation des contenus : comment l’IAB Tech Lab veut contrôler les robots crawlers 

Droits voisins : l’Apig veut introduire une plainte contre Meta devant l'Autorité de la concurrence 

Paul Boulangé (Starcom France) : "Nous sommes en train de déployer Captiv8 en France, notre solution d'automatisation du marketing d'influence"

Claire Léost devient DG de CMA Média, WPP Media promeut Stéphanie Robelus…

Comment les SSP généralistes investissent le secteur du retail media

Bénédicte Wautelet (Le Figaro) : “Toute solution qui utilise de l’IA en rapport avec nos contenus doit y être autorisée et nous rémunérer”

Aides à la presse : combien les éditeurs ont-ils perçu en 2024 ? 

Le New York Times affiche toujours une croissance très robuste portée par le numérique 

data

Les baromètres, panoramas et chiffres sur l'évolution du marché

Le classement des éditeurs français qui ont le plus d'abonnés purs numériques

Les données récoltées par les acteurs de la publicité en ligne

La liste des sociétés présentes dans les fichiers ads.txt des éditeurs français

Les gains de budget des agences médias

Opt-out : quels éditeurs français interdisent les robots crawlers de l'IA générative ?

Le panorama des sociétés spécialisées dans les technologies de l’e-retail media

La liste des outils utilisés par les équipes éditoriales, marketing et techniques des éditeurs français

Le détail des aides à la presse, année par année

La liste des CMP choisies par les principaux médias en France

Digital Ad Trust : quels sites ont été labellisés, pour quelles vagues et sur quel périmètre ?

Découvrez nos contenus gratuitement et sans engagement pendant 15 jours J'en profite
  • Le groupe mind
  • Nos activités
  • Notre histoire
  • Notre équipe
  • Nos clients
  • Nos services
  • mind Media
  • mind Fintech
  • mind Health
  • mind Rh
  • mind Retail
  • mind Research
  • Les clubs
  • mind et vous
  • Présentation
  • Nous contacter
  • Vous abonner
  • A savoir
  • Mentions légales
  • CGU
  • CGV
  • CGV publicité
  • Politique des cookies
Tous droits réservés - Frontline MEDIA 2025
Social Media Auto Publish Powered By : XYZScripts.com
  • Twitter
  • LinkedIn
  • Email