Cloudflare lance un outil contre le scrapage par les IA

Cloudflare lance un outil contre le scrapage par les IA

Cloudflare, connu pour ses services innovants dans le cloud, vient de frapper un grand coup dans l'univers des technologies. La société a mis au point un nouvel outil totalement gratuit qui bloque les bots des entreprises d'IA. Ces bots, souvent gourmands en données, parcourent le web pour récupérer du contenu destiné à entraîner d'énormes modèles de langage. Désormais, tous les clients de Cloudflare, y compris ceux qui utilisent les offres gratuites, pourront bénéficier de cette protection.

Dans un article de blog récent, l'équipe de Cloudflare a partagé des statistiques assez révélatrices. Apparemment, une majorité écrasante de leurs clients, soit 85,2 %, préfèrent bloquer l'accès de leur site même aux bots d'IA qui s'identifient correctement. Cela montre bien à quel point le besoin de sécurité et de contrôle sur le contenu est devenu crucial.

L'année passée a été témoin d'une activité intense de la part de certains bots. Par exemple, le bot Bytespider, propriété de Bytedance, a tenté de visiter 40 % des sites sous la coupe de Cloudflare. Il est suivi de près par le GPTBot d'OpenAI, qui a essayé d'accéder à 35 % de ces sites. Ces chiffres placent ces deux bots parmi les quatre principaux robots d'IA en termes de requêtes sur le réseau de Cloudflare, aux côtés d'Amazonbot et ClaudeBot.

Malgré les efforts pour bloquer ces visiteurs numériques indésirables, la tâche reste ardue. La course pour développer des modèles toujours plus rapidement pousse certaines entreprises à contourner, voire à violer, les règles établies pour bloquer ces scrapers. Récemment, Perplexity AI a été accusée de scrapage de sites sans les autorisations nécessaires. Mais avec une entreprise aussi influente que Cloudflare qui se mobilise sérieusement, on pourrait bien voir émerger des résultats tangibles.

Cloudflare reste vigilant, comme l'indique leur équipe : "Nous craignons que certaines entreprises d'IA, déterminées à contourner les règles pour accéder au contenu, s'adaptent de manière persistante pour échapper à la détection des bots." L'entreprise continue de renforcer ses défenses, ajoutant régulièrement des blocages de bots à sa règle AI Scrapers and Crawlers et améliorant ses modèles d'apprentissage machine pour aider à protéger les créateurs de contenu et à assurer une maîtrise complète sur l'utilisation de leurs œuvres.

Source : Cloudflare

Anthony Rodier
A propos de l'auteur

Anthony Rodier

Que ce soit à travers des critiques objectives, des guides d'achat ou des analyses approfondies, je m'efforce de rendre la technologie accessible à tous, en démystifiant les concepts complexes et en mettant en lumière les aspects pratiques de ces innovations. Mon travail consiste également à partager des réflexions sur l'impact de la technologie sur notre vie quotidienne et à explorer les possibilités fascinantes qu'elle offre pour l'avenir.