蓝易云CDN：浅谈CDN网络安全防护方案，使用WAF阻止爬虫攻击 🛡️

上一篇讲了爬虫防护的整体思路，这一篇专门聊 WAF 这一环——它在 CDN 的安全体系里到底站在什么位置，能解决什么，又解决不了什么。

一、先理清 CDN 和 WAF 的分工 🧩

不少人把 CDN 和 WAF 混为一谈，觉得买了 CDN 就自带完整防护。实际上两者的职责边界很清晰：

CDN 管的是"分发与承载"。 它把内容缓存到边缘节点，靠海量节点分摊流量，天然具备一定的抗冲击能力。对纯粹的流量型攻击、以及消耗带宽的低级采集，CDN 本身就能削掉一部分。但它的核心目标是加速，不是逐条审查请求内容。

WAF 管的是"识别与判定"。 它工作在应用层（HTTP/HTTPS），会逐个拆开请求，检查 URL、参数、请求头、Cookie、请求体里有没有异常特征。SQL 注入、XSS、命令执行这类攻击，以及伪装成正常浏览器的自动化程序，都要靠 WAF 来识别。

两者的关系是串联互补：请求先到 CDN 边缘节点，节点上的 WAF 模块做安全判定，通过的才进入缓存逻辑或回源。恶意请求在最外层就被截断，源站压根感受不到。这也是把 WAF 部署在 CDN 侧的最大好处——防线前置，源站彻底隐藏在后面。

二、WAF 是怎么把爬虫揪出来的 🔍

爬虫和攻击流量不同，它通常不带任何"恶意特征"，请求本身完全合法。所以 WAF 对付爬虫靠的是另一套逻辑：

特征库匹配。 常见的采集工具、扫描器都有指纹——UA 字符串、请求头字段顺序、TLS 握手特征等。WAF 内置的规则库会持续更新这些指纹，命中即处置。这一层能拦掉大量"开箱即用"的脚本。

请求头合法性校验。 真实浏览器发出的请求，Accept、Accept-Language、Accept-Encoding、Sec-Fetch 系列字段是有固定组合规律的。很多爬虫只填了 UA，其他字段要么缺失要么顺序不对，稍加比对就能露馅。

访问行为建模。 这是判定精度最高的一环。WAF 会统计单位时间内的请求频率、URL 分布、路径跳转逻辑、静态资源加载比例等指标。一个只请求 HTML 从不加载图片、按 ID 顺序遍历详情页、Referer 长期为空的客户端，基本可以判定为程序。

人机校验与挑战。 对于难以直接定性的可疑请求，WAF 可以下发 JS 挑战或验证码——真实浏览器能执行脚本并自动通过，无头脚本则大概率卡住。这种"先挑战再放行"的方式比直接拒绝温和得多，误伤率也低。

搜索引擎校验。 这一点必须单独强调 ⚠️：所有搜索引擎爬虫的 UA 都是公开可伪造的。合格的 WAF 会对声称是搜索引擎的请求做反向 DNS 验证——先反解 IP 得到域名，确认归属官方后再正解回去比对 IP。只认 UA 不做校验，等于给伪装者留了后门。

三、配置落地：分级处置比一刀切更实用 ⚙️

在 CDN 控制台开启 WAF 后，建议按这个思路推进：

第一步，先开观察模式。 规则先只记录不拦截，跑上两三天。这段时间的日志极其宝贵——你能看清哪些规则命中了、命中的到底是不是真爬虫、有没有误伤自己的监控脚本或 App 客户端。跳过这一步直接上拦截，很容易把正常业务打断。

第二步，设计分级动作。 不要非黑即白，按可疑程度分层处置：

• 轻度可疑（频率略高、UA 不常见）→ 限速，让它慢慢爬，不影响正常用户；
• 中度可疑（请求头异常、无静态资源加载）→ 人机校验，给真人留一条路；
• 高度确认（命中已知工具指纹、批量遍历）→ 直接拦截或返回空内容。

第三步，配置白名单。 把自己的监控服务、支付回调、合作方接口的 IP 提前加入白名单。这一步经常被遗漏，结果上线后支付回调被拦，排查半天才找到原因。

第四步，接口单独加固。 很多采集根本不抓页面，直接调数据接口——返回的 JSON 干净整洁，比解析 HTML 省事太多。所以要针对 /api/ 路径单独配置更严格的频率阈值，并检查是否存在未鉴权就能拉取全量数据的接口、分页参数能否被改成一次取上万条。这类问题不修补，前面所有防线都是绕过即可的摆设。

四、必须承认的边界 📌

把话说明白，WAF 不是万能的：

它挡不住高强度定向采集。 对方如果用真实浏览器内核驱动、配上大规模住宅代理池、模拟人类操作节奏，行为特征会非常接近真人。这时候 WAF 只能提高对方的成本，做不到完全阻断。

它补不了业务逻辑的洞。 接口没做权限校验、越权能查别人数据、优惠券可以无限领——这些属于代码层面的缺陷，WAF 顶多限制调用频率，从根上还得改代码。

规则越严，误伤越多。 阈值调得过低，办公网、校园网这类共享出口 IP 的正常用户会集体中招。安全强度和用户体验永远是一组需要平衡的量，没有一劳永逸的最优解。

五、上线之后要持续盯的事 📊

WAF 属于典型的"配完不等于完事"的功能。建议养成几个习惯：

• 每周看一次拦截统计。 拦截量突然归零，可能是对方换了策略绕过了规则；突然暴涨，先怀疑是不是误伤了正常流量；
• 重视用户反馈。 有人报"网站打不开"或"提交表单被拒"，第一时间去 WAF 日志里查是不是自己的规则拦的；
• 保持规则库更新。 采集工具在变，指纹也在变，用一年前的规则库对付今天的爬虫效果有限；
• 定期回看接口日志。 新上线的接口有没有被盯上、有没有异常调用模式，这些往往比页面采集更值得警惕。

总的来说，WAF 在 CDN 安全体系里扮演的是"应用层过滤网"的角色。它和 CDN 的分发能力、防盗链、URL 鉴权、频率限制组合起来，才构成一套完整的防线。指望单点解决所有问题不现实，但把这几层踏实配好、持续维护，绝大多数站点面临的爬虫压力都能压到可接受的范围内。