Cloudflare od 15. září 2026 změní výchozí pravidla pro provoz botů — AI firmy budou muset oddělit prohledávače používané pro vyhledávání od těch, které slouží k trénování AI a autonomním agentům. Od tohoto data budou stránky s reklamou standardně blokovat „smíšené“ prohledávače, zatímco vyhledávací roboti zůstanou povoleni — pravidlo se týká všech nových zákazníků, nových webů i všech stávajících uživatelů v bezplatném tarifu.
Krok následuje po varování generálního ředitele Cloudflare Matthewa Prince, že provoz automatizovaných botů již předběhl provoz lidských uživatelů, a že „AI si brala vše a nic nevracela zpět, což představovalo existenční hrozbu pro provozovatele webů“. Podle Cloudflare tráví AI prohledávače více než polovinu svého provozu opakovaným stahováním stránek, které se vůbec nezměnily — zatěžují servery, aniž by vydavatelům cokoliv vrátily.
Spolu s termínem Cloudflare rozšířil i své nástroje pro zpeněžení obsahu a spustil službu „Pay Per Use“ vedle stávajícího tržiště „Pay Per Crawl“, díky němuž mohou vydavatelé účtovat AI firmám za přístup ke svému obsahu. Prvními partnery jsou Ceramic.ai a You.com, kteří vydavatelům platí, když se jejich obsah objeví ve výsledcích AI vyhledávání. Cloudflare stojí před více než 20 % všech webových domén, což dává tomuto pravidlu mimořádný dosah napříč internetem.