CloudFlare a observé la perplexité des startups de l’IA contournant les restrictions d’accès au contenu du site Web, alléguant que l’entreprise a obscurcie ses identités de bot pour contourner les préférences numériques. Cette activité a impliqué la perplexité modifiant les agents utilisateur de robots et les réseaux de systèmes autonomes pour échapper à la détection dans de nombreux domaines. Le fournisseur d’infrastructure Internet CloudFlare a rapporté que la perplexité des startups AI avait rampé et grattant le contenu des sites Web qui avaient explicitement interdit une telle activité.
Cloudflare publié La recherche de lundi, détaillant ses observations selon lesquelles la perplexité a ignoré les blocs existants et a caché ses opérations rampantes et grattant. La société d’infrastructure réseau a accusé la perplexité d’obscurcir son identité tout en tentant de gratter les pages Web, déclarant que c’était «une tentative de contourner les préférences du site Web». Les produits d’IA, y compris ceux offerts par perplexité, dépendent de l’ingestion de volumes de données substantiels sur Internet. Les startups AI ont fréquemment gratté le texte, les images et les vidéos d’Internet, souvent sans autorisation explicite, pour faciliter la fonctionnalité du produit. Les sites Web ont de plus en plus utilisé le fichier robots.txt, une norme Web conçue pour informer les moteurs de recherche et les sociétés d’IA sur les pages autorisées pour l’indexation et celles qui ne le sont pas, avec des degrés de succès variables ces derniers temps.
CloudFlare a déclaré que la perplexité semblait contourner intentionnellement ces blocs en modifiant «l’agent utilisateur» de ses bots, qui est un signal identifiant un visiteur de site Web par leur type d’appareil et de version. La société a également noté que Perplexity modifiait ses réseaux de systèmes autonomes (ASN), un identifiant numérique pour les grands réseaux sur Internet, dans le cadre de ces efforts. Le post de CloudFlare a spécifié: «Cette activité a été observée dans des dizaines de milliers de domaines et des millions de demandes par jour. Nous avons pu empreindre les empreintes digitales à l’aide d’une combinaison d’apprentissage automatique et de signaux de réseau.»
Jesse Dwyer, porte-parole de Perplexity, a rejeté le blog de Cloudflare comme un «argument de vente». Dans un e-mail à TechCrunchDwyer a affirmé que les captures d’écran incluaient dans le post «Montrer qu’aucun contenu n’était accessible». Dans un e-mail ultérieur, Dwyer a affirmé que le bot identifié dans le blog CloudFlare n’était pas associé à la perplexité. CloudFlare a indiqué qu’il détecte initialement ce comportement après que les clients ont signalé que la perplexité rampait et gratait leurs sites, malgré la mise en œuvre de règles Robots.TXT et des blocs spécifiques ciblant les robots de perplexité connus. CloudFlare a ensuite effectué des tests pour vérifier ces affirmations et confirmé la contournement par perplexité des blocs existants.
CloudFlare a déclaré: « Nous avons observé que Perplexity utilise non seulement leur agent utilisateur déclaré, mais aussi un navigateur générique destiné à usurper l’identité de Google Chrome sur MacOS lorsque leur damiseur déclaré a été bloqué. » La société a confirmé qu’elle avait désélectionné les robots de Perplexity de sa liste vérifiée et a mis en œuvre de nouvelles méthodes techniques pour les bloquer. Cloudflare a récemment adopté une position publique concernant les robots de l’IA. Le mois dernier, Cloudflare a annoncé un nouveau marché conçu pour permettre aux propriétaires de sites Web et aux éditeurs de percevoir des accusations contre les grabyfreintes de l’IA visitant leurs sites. À cette époque, le directeur général de Cloudflare, Matthew Prince, a exprimé ses préoccupations, affirmant que l’IA perturbait le modèle commercial d’Internet, en particulier pour les éditeurs. Au cours de l’année précédente, CloudFlare a également introduit un outil gratuit destiné à empêcher les robots de gratter les sites Web à des fins de formation d’IA.
Ce n’est pas le premier cas de perplexité face aux accusations de grattage non autorisé. L’année dernière, les organismes de presse, dont Wired, ont allégué que la perplexité se livrait au plagiat de contenu. Des semaines plus tard, lors d’une interview avec Devin Coldewey de TechCrunch lors de la conférence Disrupt 2024, le PDG de Perplexity, Aravind Srinivas, n’a pas pu fournir une définition immédiate du plagiat lorsqu’on lui a demandé.
