Cloudflare lance le “pay per crawl”, pour monétiser l’aspiration de contenus par les plateformes d’IA générative

Cloudflare a annoncé mardi 1er juillet le lancement de Pay per crawl, une solution en version bêta privée pour le moment, permettant aux éditeurs de sites de choisir pour chaque crawler IA s’ils les autorisent à visiter leurs pages, gratuitement ou de manière payante, ou s’ils les bloquent. Il s’agit d’une évolution de l’offre lancée en septembre 2024, qui permettait de bloquer les crawlers IA, qu’ils respectent ou non les directives des fichiers robots.txt. Désormais, ce blocage est mis en place par défaut pour les clients de Cloudflare. Selon Wired, plus d’un million d’éditeurs de sites avaient activé l’ancienne solution de blocage de Cloudflare.  

Gérer le search comme du programmatique

Concrètement, dans le cas où l’éditeur choisit de faire payer l’accès à son contenu, chaque requête d’un crawler renvoie une requête de paiement, reposant sur des fonctionnalités du protocole HTTP. Les acteurs de l’IA générative, s’ils participent à la bêta, ont eux aussi la possibilité de configurer une proposition de prix maximum pour chaque micropaiement, et si les deux conditions sont compatibles, le paiement est déclenché. Un crawler qui n’a pas instauré de relation de facturation avec Cloudflare se verra notifier dans la réponse à sa requête une invitation à la mettre en place. Cloudflare joue le rôle d’intermédiaire, facture les crawlers et redistribue les paiements aux éditeurs.

À l’avenir, le fournisseur de solutions d’infrastructure web, d’optimisation des performances des sites et de cybersécurité imagine des développements plus avancés, tels que le pricing dynamique, avec des tarifs différenciés pour l’accès à différents contenus, selon les crawlers, ou encore selon l’usage fait des contenus (entraînement, search…). À terme, la solution pourrait gérer de manière programmatique toutes les relations entre agents IA, permettant par exemple de définir un budget par recherche sur les assistants IA et les moteurs de réponse, explique la note de blog de Cloudflare.

Nouveau marché, nouveau modèle économique

Les éditeurs qui le souhaitent peuvent s’inscrire à la bêta. Condé Nast, TIME, The Associated Press, The Atlantic, Adweek, Fortune l’ont déjà fait, rapporte TechCrunch, ainsi que Quora selon The Verge. TechCrunch rappelle que les solutions de Cloudflare couvrent aujourd’hui “20 % du web”. Du côté des acteurs de l’IA générative, OpenAI a décliné, préférant se borner à respecter les directives des fichiers robots.txt, d’après CNBC.

Le lancement de Pay per crawl pourrait ouvrir un nouveau marché, alors que les éditeurs d’information – à part les leaders – ont des difficultés à nouer des accords de rémunération avec les plateformes d’IA générative et à faire respecter leur droit d’auteur, que les fichiers robots.txt et le protocole TDMRep montrent leurs limites, que l’usage des moteurs de réponses et des assistants IA progresse, et que le crawling du web par les acteurs de l’IA commence à engorger sérieusement les réseaux.