Une discussion à San Francisco sur les fournisseurs d’IA « éthiques » a mis en évidence la tension croissante entre les sociétés d’IA et les éditeurs de sites Web. Le débat se concentre sur la façon dont les entreprises d’IA récoltent les données Web pour former leurs modèles et alimenter leurs chatbots, souvent sans renvoyer du trafic vers les sources de contenu d’origine.
Mesurer le déséquilibre avec un ratio de balade / référence
Pendant des années, le Web a fonctionné sur un accord non écrit: les sites Web permettent aux robots de moteur de recherche d’explorer leur contenu en échange du trafic de référence, ce qui motive les utilisateurs et les revenus. Les chatbots d’IA génératifs perturbent ce modèle en fournissant des réponses directes, en réduisant la nécessité pour les utilisateurs de visiter le site Web de la source. Pour quantifier ce changement, CloudFlare, qui prend en charge environ 20% des sites Web du monde, a commencé à suivre un « ratio de rampe / référence ». Cette métrique compare le nombre de fois où les robots d’une entreprise accèdent à un site Web pour les données avec le nombre d’utilisateurs humains qu’il fait référence à ce site. Un ratio élevé indique qu’une entreprise prend beaucoup plus de données que la valeur qu’elle renvoie dans le trafic.
Comment les différentes entreprises d’IA se comparent
Les données de la première semaine de septembre ont révélé des différences significatives entre les entreprises. Anthropic, le fabricant du Claude Chatbot, a montré un ratio d’exploration / référence particulièrement élevé. En réponse aux résultats, Anthropic a déclaré qu’il ne pouvait pas confirmer les chiffres de Cloudflare et a noté qu’une nouvelle fonctionnalité de recherche Web lancée plus tôt cette année génére une quantité croissante de trafic de référence. OpenAI n’a pas répondu aux demandes de commentaires. Perplexity, un autre moteur de réponse AI, a fourni une déclaration détaillée sur la question.
Dans le cas du contenu public, les éditeurs peuvent choisir de ne pas rendre leur contenu public. Dans le cas des faits, la loi sur le droit d’auteur, comme vous le savez, a toujours tracé une ligne entre les faits et l’expression. C’est un fondement de l’enquête humaine elle-même.
Une note méthodologique indique que ces ratios ne suivent que l’activité Web et excluent le trafic des applications natives, ce qui pourrait réduire les nombres globaux. Cependant, la méthodologie est appliquée de manière cohérente à toutes les entreprises.
L’impact sur les propriétaires de sites Web et le rôle changeant de Google
Cette collecte de données à grande échelle a des coûts directs pour les propriétaires de sites Web. Un rapport d’initié d’affaires il y a environ un an a noté que la rampe de bots anthropiques et Openai provoquait des augmentations importantes des coûts de la circulation pour certains sites, un développeur signalant des factures de compusement cloud de son client avait doublé. Le ratio d’exploration de Google / référence est actuellement inférieur à celle de nombreuses sociétés de l’IA-First, en grande partie parce que ses résultats de recherche traditionnels sont toujours liés aux sites Web. Cependant, comme Google intègre des réponses plus directes sur l’IA à travers des fonctionnalités telles que les aperçus de l’IA, son ratio est fluctuant. Les données de CloudFlare ont montré que le ratio de Google est passé de 3,3: 1 en janvier à 18: 1 en avril, avant de s’installer à 9: 1 en juillet. Google a déclaré qu’il restait déterminé à envoyer du trafic sur le Web.
