Nová výchozí politika Cloudflare pro roboty vstoupila v platnost 15. září 2026 a ve výchozím nastavení blokuje "smíšené" prohledávače - ty, které kombinují indexování pro vyhledávání s trénováním AI modelů nebo načítáním dat pro AI agenty - na každé stránce, která zobrazuje reklamy. Změna se týká nových klientů Cloudflare, nově zřízených webů stávajících klientů a všech klientů na bezplatném plánu; placení klienti, kteří si nastavení robotů už upravili sami, si své konfigurace zachovají.
Nový třístupňový systém rozděluje provoz robotů do kategorií Search (vyhledávání), Agent a Training (trénování). Ve výchozím stavu zůstává povolené jen Search; Agent a Training jsou blokované, pokud si je majitel webu sám nepovolí. Protože roboti jako Googlebot, Applebot nebo Bingbot kombinují indexování pro vyhledávání se sběrem dat pro trénování modelů, weby, které blokují Training, budou blokovat i tyto víceúčelové roboty. Cloudflare svou logiku vysvětluje jednoduše: reklama je signál, že majitel webu chtěl, aby na stránku přišel člověk a viděl ji.
Krok doprovází rozšíření tržiště Cloudflare "Pay Per Crawl" na "Pay Per Use", které má vydavatele odměňovat, když se jejich obsah objeví v odpovědích generovaných umělou inteligencí, místo placení za jednotlivé stažení stránky. Cloudflare uvádí, že provoz robotů už dnes tvoří většinu požadavků na otevřeném webu - milník, který firma dříve čekala až v roce 2027.