该互联网基础设施服务商于7月1日宣布细化机器人标签体系，确立多任务混合爬虫的阻断机制，并推出适配答案引擎优化的新仪表板及按量计费模式。
互联网基础服务企业Cloudflare于当地时间7月1日宣布对网络爬虫屏蔽管理策略进行细化调整。根据新规，系统将为各类爬虫机器人打上搜索、AI代理、模型训练等行为标签，并计划在2026年9月15日正式默认禁止用于AI代理及训练目的的爬虫访问包含广告的网页内容。这一举措旨在回应网站所有者希望内容能被人工智能发现同时保留知识产权收益的双重需求，解决当前市场上混合型爬虫难以区分管控的难题。
在技术执行层面，Cloudflare的爬虫管理器将识别爬虫的所有行为模式，一旦多任务爬虫中任意一种行为被网页所有者禁止，该爬虫即无法在特定网站上进行任何抓取操作。此外，平台同步推出了新版归因业务洞察仪表板，以适配搜索优化领域从SEO向GEO再到AEO（答案引擎优化）的演进趋势。为降低服务器负载，系统还引入了页面变动监控功能，能够自动过滤无更新页面的重复抓取请求。针对内容变现问题，Cloudflare落地了按使用计价的抓取付费模式，允许网站主对AI抓取行为收取费用，从而平衡内容产出与数据采集之间的权益关系。
此次规则调整反映了搜索引擎优化行业在人工智能大模型普及背景下的转型压力。随着AEO概念的兴起，传统以关键词排名为核心的SEO逻辑面临重构，内容提供者在追求曝光度的同时更加重视数据授权与收益分配。Cloudflare通过标签化管理和计费模式创新，为网站主提供了应对AI爬虫规模化采集的工具，同时也为合规的负责任AI企业明确了行为边界。该政策将于两年多后生效，预计将推动行业形成新的数据采集标准与商业合作规范。