Cloudflare prévoit de bloquer automatiquement les robots d’exploration Web à usage mixte qui indexent les sites Web pour les moteurs de recherche tout en servant également d’agents et de formateurs d’IA. La société offrait auparavant à ses clients la possibilité d’empêcher ces robots d’exploration de supprimer leurs sites à la recherche de chatbots IA, mais adopte désormais une position par défaut plus défensive.
Le PDG Matthew Prince a déclaré : « Maintenant que la majorité du trafic sur Internet est non humaine, nous devons aller plus loin et agir plus rapidement afin qu’un écosystème durable puisse émerger. » Il a souligné que les nouveaux outils et partenariats offrent aux propriétaires de sites Web une visibilité et des opportunités commerciales accrues tout en bénéficiant aux entreprises d’IA ayant une intention transparente.
À partir du 15 septembre 2026, les nouveaux clients et les nouveaux sites Web des abonnés existants disposeront de paramètres par défaut autorisant la recherche, mais bloquant la formation et l’utilisation d’agents sur les pages contenant des annonces. Les robots d’exploration à usage mixte qui ne permettent pas aux propriétaires de sites de contrôler l’utilisation du contenu de l’IA seront également bloqués par défaut sur les pages publicitaires. Les utilisateurs de comptes gratuits passeront automatiquement à ces nouvelles valeurs par défaut, à moins qu’ils ne se désinscrivent avant la date limite.
Cloudflare met à jour sa fonctionnalité Pay Per Crawl, désormais nommée Pay Per Use, où les propriétaires de sites recevront une compensation lorsque leur contenu est référencé par des chatbots IA. L’annonce comprend des partenariats avec Ceramic.AI et You.com, dans le but d’inciter davantage d’entreprises d’IA à adopter ces changements.
La nouvelle politique est considérée comme une mesure stratégique visant à défier Google, qui a accès à beaucoup plus d’informations que les principales sociétés d’IA. Le principal robot d’exploration Web de Google, Googlebot, indexe efficacement les sites et collecte des données pour ses modèles d’IA, compliquant ainsi les options des éditeurs concernant l’utilisation du contenu. Les politiques de Cloudflare visent à inciter Google et d’autres entreprises disposant de robots d’exploration à usage mixte à reconsidérer leurs stratégies.
