Cloudflare с 15 сентября по умолчанию заблокирует «смешанные» ИИ-краулеры на страницах с рекламой

Cloudflare, крупный поставщик услуг доставки контента и защиты сайтов, вводит новую политику по умолчанию: краулеры, которые объединяют обычный поиск с обучением ИИ и работой агентов, будут блокироваться на страницах с рекламой. Изменения вступают в силу 15 сентября 2026 года и затронут новых клиентов, новые сайты и действующих клиентов на бесплатных тарифах. Одновременно инструмент Pay Per Crawl эволюционирует в Pay Per Use, позволяя издателям брать плату с ИИ-компаний за использование контента.

Компания Cloudflare, предоставляющая услуги CDN, защиты и оптимизации сайтов, объявила о новой политике, которая должна заставить владельцев поисковых и ИИ-роботов разделять их по назначению. Начиная с 15 сентября 2026 года настройки по умолчанию будут блокировать «смешанные» (mixed-use) краулеры на любых страницах, где размещена реклама.

Речь идёт о ботах, которые совмещают обычную поисковую индексацию с обучением моделей и работой ИИ-агентов, не давая владельцам сайтов выбирать между этими сценариями. По умолчанию такие роботы будут допускаться к поисковой индексации, но блокироваться для обучения и агентного использования на страницах с рекламой. Настройки можно изменить в панели управления в любой момент.

Новые правила по умолчанию распространятся на новых клиентов, на новые сайты действующих клиентов, а также на всех действующих клиентов бесплатных тарифов, которые не изменят настройки к 15 сентября. По оценке Cloudflare, изменения могут повлиять на то, как поставщики ИИ-моделей получают доступ к веб-контенту для обучения и для работы агентных сервисов.

Cloudflare объясняет шаг тем, что большинство владельцев сайтов хотят оставаться доступными в поиске и часто в ИИ-сервисах, но при этом рассчитывают на защиту своей интеллектуальной собственности от бесплатного использования. Компания указывает на крупнейшую поисковую систему (явный намёк на Google), которая, по её мнению, получает примерно вдвое больше информации, чем другие ИИ-компании, поскольку затрудняет сохранение видимости в поиске без одновременного использования контента для ИИ. Google ранее возражал против подобных обобщений, отмечая, что предлагает отдельный механизм Google-Extended для отказа от использования контента в обучении и ИИ-продуктах без влияния на позиции в поиске.

Соучредитель и генеральный директор Cloudflare Мэтью Принс связал инициативу с тем, что автоматический трафик в интернете уже превысил человеческий — раньше, чем ожидалось. По его словам, ради устойчивой экосистемы нужно действовать быстрее, а предлагаемые изменения настроек по умолчанию должны подтолкнуть операторов смешанных краулеров к разделению поиска, обучения и агентного использования.

Параллельно Cloudflare развивает свои инструменты монетизации. Ранее запущенный маркетплейс Pay Per Crawl, позволявший сайтам взимать плату с ИИ-ботов за сканирование, превращается в Pay Per Use: издатели смогут получать оплату не за сам факт загрузки страницы, а тогда, когда их контент создаёт ценность. Компания отмечает, что более 50% трафика ИИ-краулеров уходит на повторное скачивание неизменившихся страниц, поэтому новая модель может помочь экономить полосу и вычислительные ресурсы.

На старте Cloudflare работает с двумя партнёрами — Ceramic.ai и You.com. При подключении издатель получает оплату, когда его контент появляется в результатах ИИ-поиска Ceramic или когда You.com обращается к его премиальному материалу. Другие ИИ-компании смогут настроить эту модель под свои сценарии. Подробности изложены в материале TechCrunch.