当 Agent 开始绕过反爬，Web 会怎样反击？
不是“反爬升级”，而是 Web 在抵抗一种新流量
过去网站防的是脚本和爬虫；现在它们开始面对一类更难定义的新流量：带任务、带上下文、会操作浏览器的执行型 Agent。2025 年 1 月，OpenAI 推出 Operator，让 agent 在网页里处理表单、下单等任务，并在输入登录凭证或付款信息时要求用户接管；2025 年 7 月，ChatGPT agent 又把“用自己的电脑完成任务”的能力推向更广泛的产品界面。与此同时，Cloudflare 对 30 多个 AI 与搜索 crawler 的样本观测显示，2024 年 5 月到 2025 年 5 月，这类 crawler 流量增长 18%，其中 GPTBot 原始请求量增长 305%。OXYZ资本认为，这不是“爬虫更多了”，而是 Web 开始遭遇一种越来越像人的新访问主体。
所谓“Agent 绕过反爬”，也不再是传统意义上一个脚本猛拉 HTML。今天的 browser agent 能导航网站、点击按钮、填写表单、连接邮件和文档等第三方数据源，必要时暂停让用户完成敏感登录，再继续执行后续工作流。它既可能像 OpenAI 那样主动签名、公开身份，也可能走向 stealth automation；至少在安全厂商的观察里，后者已经出现。Web 面对的因此不只是“抓数据”的 bot，而是可能来比价、注册、下单、读邮件、改后台、跑跨站任务的执行型流量。
为什么这一轮比传统反爬更棘手
难点首先在于，旧规则默认面对的是“请求”，新问题面对的却是“主体”。IETF 在 Web Bot Auth 工作组章程里，已经把“代表终端用户检索或交互内容的 AI agents”写进标准范围，同时明确表示，现有的 IP allowlist、User-Agent 字符串和共享 API key，在安全性、可扩展性和可管理性上都有明显局限。OpenAI 自己也不再把所有自动化流量混成一类：OAI-SearchBot 用于搜索，GPTBot 用于训练，ChatGPT-User 则用于用户触发的网页访问，而且它不是自动化 crawl，robots.txt 也未必按传统爬虫逻辑适用。问题于是从“这是不是机器人”，变成了“这是谁的 Agent、出于什么目的、代表谁、拿着什么权限来做什么事”。
更关键的是，Web Bot Auth 这套新秩序，眼下优先解决的还只是“agent 是谁”，而不是“终端用户是谁”。IETF 章程明确把终端用户认证排除在本轮标准范围之外，这意味着就算站点能确认某个请求确实来自 OpenAI、AWS AgentCore 或其他签名 agent，它仍然需要继续追问：这个 agent 代表哪一个用户、拥有哪些委托权限、能不能在这个上下文里完成某个动作。也正因为如此，这一轮变化不会停留在 bot detection，而会继续外溢成 identity、delegation、policy 和 billing 的组合治理。
Web 的第一层反击：检测还会升级，但不再是唯一答案
传统检测不会消失，反而会更重。Cloudflare 公开说明，其 Bot Management 已经把机器学习、行为分析、指纹识别、JavaScript 检测、异常检测等多种引擎叠在一起；其 ML 模型会综合请求头、会话特征和浏览器信号来给每个请求打分，甚至连“请求头顺序不像某个真实浏览器”这种细节都能成为 detection ID。换句话说，站点仍会继续查 IP、查 headless、查指纹、查行为链，但重点会从抓某个静态特征，转向交叉验证整条会话链路。验证码也不会消失。2026 年 2 月，hCaptcha 仍公开表示 CAPTCHA 对 bots and agents 依然有效。
但这只是起点。因为只靠检测，网站最多做到“更会抓伪装者”，却做不到“放心放行合规者”。真正的新秩序，必须让网站能把想拦的流量和想欢迎的流量分开。
第二层反击：从“识别自动化”转向“识别身份”
这就是为什么 Web 正在从 heuristic game 走向 cryptographic identity game。Cloudflare 已把 Web Bot Auth 定义为一种利用 HTTP 消息密码学签名来验证自动化客户端身份的方法，并把 HTTP Message Signatures 整合进 Verified Bots Program；站点可以在边缘自动验签，再基于已验证身份写 WAF、Rate Limiting 和 Transform rules。OpenAI 的 ChatGPT agent allowlisting 文档也明确写着，agent 会给每一个出站 HTTP 请求签名，方便网站在 CDN 或防火墙里验证其来源。AWS 则在 WAF 和 Bedrock AgentCore Browser 中加入 Web Bot Auth 支持，让 AI agent 用签名请求换取“被识别”的资格。
OXYZ资本观点是，未来最值钱的，不会是最会伪装成真人的 Agent，而是最先成为“被网站信任的 Agent”的那层基础设施。因为一旦“信任”可以被标准化验证，Web 就不必在“全放”和“全封”之间二选一，而能真正开始做分级治理。
第三层反击：权限会被拆得更细，Agent 不会再拿到“类人全通行证”
验明正身还不够，Web 接下来会把权限拆得更细。Cloudflare 的 AI Crawl Control 已经不只把流量粗暴分成“允许”和“拒绝”，而是开始区分 AI Crawler、AI Search、AI Assistant 等不同类别；其参考目录里，OpenAI 的 GPTBot、OAI-SearchBot 和 ChatGPT-User 就被放进了不同赛道。AWS 的 AgentCore 文档更直白：站点可以选择屏蔽所有 bots，只放行带有效签名的 bots，或者只允许某些 signed bots 访问特定路径；即便流量带着合法签名，站点所有者也仍然保留 block、monitor、rate-limit 的完整主权。
这意味着未来网站不会给 Agent 一张“类人全通行证”，而是给它一组按身份、用途、路径、动作类型和速率拆开的细粒度许可：你可以看公开商品页，但不能高频比价；你可以读页面，但不能登录、下单或改资料；你可以抓搜索摘要，但不能把整站内容拉去训练。Web 的反击，不是一刀切封杀 Agent，而是把 Agent 纳入新的分级访问体系。
第四层反击：从封禁走向收费，访问权开始金融化
当单纯 blocking 已经无法兼顾业务与生态，网站就会把“是否允许 Agent 访问”变成一个商业决策。2025 年 7 月 1 日，Cloudflare 宣布新域名默认阻止 AI crawlers 在没有许可或补偿的情况下抓取内容，并允许 AI 公司更明确声明自己的用途究竟是 training、inference 还是 search。紧接着，其 Pay Per Crawl 机制把这件事进一步制度化：当 crawler 请求付费 URL 时，服务器可以直接返回 HTTP 402 Payment Required，并用 crawler-price 头告诉对方价格。
这背后的含义非常大。未来 Web 对 Agent 的关系，可能会越来越像今天 SaaS 对 API 的关系：不是默认免费访问，而是按身份、用途、频率和价值来定价。反爬的终局因此未必是“全部拦住”，更可能是“不给白嫖”。
第五层反击：Web 会开始主动误导、诱捕、消耗 Agent
更戏剧性的变化在于，Web 不只防守，还会主动反制。Cloudflare 的 AI Labyrinth 就是一个标志性信号。它不是简单把不守规矩的 bot 一脚踢出去，而是在检测到不当 crawling 后，故意把对方引进一组 AI 生成的迷宫页面里，去拖慢它、混淆它、浪费它的算力。Cloudflare 明说，这套系统同时还是“下一代 honeypot”：没有正常人会在一堆 AI 生成的无意义页面里连续点四层链接，但 bot 会，于是网站既能消耗对方，又能借此反向学习新的 bot 模式。更重要的是，Cloudflare 还说，这只是第一代，下一步会把这些诱捕链接做得更像真实站点结构。
一旦这种思路扩展开，Web 的角色就变了：它不再只是“被抓取对象”，而是一个会主动设局的对手。未来出现更多 agent honeypot、假按钮、假路径、动态陷阱，几乎是顺理成章的延伸。
第六层反击：页面本身也会开始“攻击 Agent”
更深的一层，是页面内容本身会成为攻击面。OpenAI 在 ChatGPT agent 帮助文档里直接承认，当 agent 被登录到网站或接入第三方 app 后，就会接触到邮件、文件、账号设置等敏感数据，因此会面临 prompt injection 风险；官方甚至给出过一个例子：agent 在替用户找餐厅时，可能在网页评论里读到隐藏恶意指令，被诱导去 Gmail 里取密码重置码并发给恶意站点。Anthropic 的表述更直接：没有任何 browser agent 能免疫 prompt injection。OpenAI 也把 prompt injection 定义为“agent in the browser”范式里最重要的风险之一，并表示其自动化 red teaming 已经能够发现会把 browser agent 引向数十甚至上百步有害工作流的新型攻击。
所以，未来网页上的隐藏文本、恶意 DOM、欺骗性按钮和诱导 UI，不只是影响用户决策，它们会直接试图劫持 Agent 的意图链。Web 的反击，不只是 WAF、验证码和封 IP，还包括对 Agent 认知链路的干扰。
更深的变化：Web 正在从“开放网页”走向“对机器分层开放”
把这些变化放在一起看，你会发现 Web 正在从“对所有机器默认开放”，转向“对机器分层开放”。对人类用户，网站仍会尽量保持顺滑；对被信任、可签名、可审计的 Agent，网站会逐步开放专用通道；对不明 Agent，会增加摩擦、缩小权限、提高挑战频率；对恶意 automation，则直接封禁、误导、诱捕、消耗。真正被重写的，不是某一道验证码，而是整个 Web 的访问秩序。
产业落点：厚利润会沉到“让网站敢放行 Agent”的基础设施层
从产业和投资视角看，Agent 应用当然会很多，但厚利润的位置，大概率不会停留在最上层的应用壳，而会沉淀在一层新的 Web access infrastructure。OXYZ资本内部认为，最值得盯的不是谁最会做 stealth automation，而是谁能成为以下基础设施：Agent 身份与签名层、Agent 流量识别与 observability 层、Agent 权限编排与 policy engine、Agent 访问计费与结算层，以及更安全的 Agent 浏览器/runtime。因为对网站来说，真正的门槛不是“看不看得见 Agent”，而是“敢不敢放它进来”。
所以，OXYZ资本在研究时真正想说的并不是：Agent 会不会把验证码打爆。更重要的是：当 Agent 学会像人一样访问网页，Web 也会学会像平台一样审查 Agent。未来 Web 不会彻底拒绝 Agent，它只会拒绝那些无法证明自己是谁、代表谁、拿什么权限来、愿不愿为访问付费的 Agent。真正的分水岭，也不是 Agent 能不能绕过反爬，而是它能不能被 Web 当成一个合格的数字主体来接纳。