Cloudflare 新制预设「封锁 AI 爬虫」，掀起付费抓取内容新经济争论

当前全球超 16% 的网路流量都通过 Cloudflare，是网路生态重要基石。本周，该公司发布新规：即日起所有新注册网域，皆预设封锁 AI 爬虫，并同步推出「Pay Per Crawl」机制。这一步，让长期免费捞取资料的大模型忽然面临收费闸门，也让内容拥有者首次握住议价杠杆。

政策要点：预设封锁与按次付费

Cloudflare 新规把爬虫存取模式从「预设允许」翻转为「需经许可」，新网域立即启用阻挡；旧客户则可在后台一键切换。

更关键的是「Pay Per Crawl」新制，网站管理员得以为「训练、推论、搜寻」三种用途设定不同价格。当爬虫抵达网站，伺服器将回传 HTTP 402 Payment Required，要求先付费再取用。由 Cloudflare 代收费用及结算，并提供用途、频率与付款报表。

执行长 Matthew Prince 公开说：

「我们的目标，是让内容创作者重新掌握对智慧财产的控制权，并从中获得合理回报。」

市场反应：媒体欢迎，实验室忧虑

已公开承认流量受到影响的大型出版商如 TIME 与 BuzzFeed 已加入试点，希望透过新机制为流量增添订阅与授权之外的第三条收入（毕竟 AI 整理过资料后，读者就没必要在浏览原始网页）。

相反的，OpenAI、Google 等开发者则警告，Cloudflare 正成为「中介商」，并强调他们一直遵守 robots.txt。英国律师 Matthew Holman 指出：

「若封锁政策普遍生效，必然拖慢模型训练速度，这会是短期内 AI 产业的巨大挑战。」

根据推估，若透过付费新增 1 兆个训练标记，成本可能达数亿美元，直接推高模型研发门槛。

资本视角：内容授权成新赛道

专家估算，「内容授权」的市场规模有机会从零衍生成数十亿美元级产业。同时，若 Cloudflare 成功推广付费模式，差异化将进一步扩大，对 Fastly、Akamai 构成压力，资本市场已重新评价 Cloudflare 的战略位置。

后续观察：资料黑暗期还是价值重分配

假如未来「预设封锁 AI 爬虫」被其他 CDN 或云服务广泛采纳，大模型可能陷入短暂「资料黑暗期」。业者势必需寻找替代方案，例如生成合成资料、与内容持有人签订授权协议，或利用区块链追踪版权。欧盟 GDPR 与法国 CNIL 对资料「合法利益」与「最小化」的强调，也与此趋势相符。

Cloudflare 新制度等于把「资料就是新石油」具象化：AI 公司未来或不再能免费加油，而要依量付费；不过对内容生产方来说则可能是好消息，能把数位资产变现，揭开价值重估的序幕。