同一个网页被连续访问，可能是搜索引擎抓取，也可能是自动化程序采集，不能只凭访问次数下结论。判断如何区分恶意爬虫流量与真实用户请求，应把身份信息、访问行为和造成的影响放在一起看；单个信号通常不足以定性。
五种判断法：从身份到影响逐层核对
1. 核验声明的爬虫身份
查看访问日志中的 User-Agent，但不要把它当作身份证明。程序可以伪装成 Chrome 等浏览器，也可以把名称写成 Googlebot。若请求自称来自 Googlebot，可按 Google 提供的验证流程检查来源：对来源地址进行反向 DNS 查询，再对返回的主机名做正向解析，确认解析结果与原地址相符。无法验证不代表必然恶意，但应标记为未知自动化流量。
2. 看请求频率与节奏是否异常
统计同一来源在短时间内的请求数、并发量和重复间隔。真实用户也可能快速翻页，公共网络还会让多人共享出口地址，因此不要用单一阈值封禁。可先按页面类型观察一段时间，再设置限流：普通内容页可以从每个来源每秒数次的量级开始评估；登录、搜索等高成本接口则应按实际承载能力设得更谨慎。频率只是线索，是否持续、是否集中在少数接口同样重要。
3. 检查访问路径与资源组合
人通常从入口页进入，再访问相关页面；爬虫可能直接枚举编号、遍历站点地图，或反复请求不存在的路径。对照访问日志和 robots.txt 可以发现规律，但 robots.txt 是给遵守规则的爬虫看的，并不能阻止恶意程序。若大量请求集中在搜索、筛选或参数组合页面，且访问顺序机械重复，应进一步核对其来源与负载影响。
4. 比较浏览器交互与会话行为
结合 Cookie、会话连续性、JavaScript 资源请求和页面跳转判断。真实浏览器通常会加载页面所需的脚本、样式或图片，并在多个页面间保留部分会话状态；简单脚本可能只请求 HTML，或不断新建会话。不过，无障碍工具、关闭脚本的浏览器和隐私设置也会呈现不同表现。不要因为缺少某一类资源就直接认定为恶意。
5. 评估对服务和内容的实际影响
确认异常流量是否造成响应变慢、错误率上升、缓存命中下降，或集中复制不希望公开的内容。搜索引擎等合规爬虫也会产生请求；若频率适中、遵守站点规则且没有明显负面影响，通常无需封禁。判断如何区分恶意爬虫流量与真实用户请求，最终要看行为证据与业务影响是否相互印证，而不是把“自动化”等同于“恶意”。
可执行的复核与处置步骤
从访问日志中选取异常时间段，按来源、User-Agent、请求路径和状态码分组，先确认是否为集中、重复的模式。
对照正常访问路径，并检查请求是否持续访问高成本接口、是否频繁触发错误，以及服务指标是否同步变差。
对身份可验证的合规爬虫放行或适度限速；对身份未知但影响较低的流量继续观察；对行为明确异常的来源，先限速或增加访问验证，再评估是否需要拦截。
记录规则命中原因，并检查真实用户是否受到影响。若误拦增加，缩小规则范围或撤回规则，再用新的日志复核。
判断如何区分恶意爬虫流量与真实用户请求，建议采用“多信号交叉验证、先限速再封禁”的顺序。这样既能处理明显异常请求，也能降低误伤搜索引擎、辅助工具和共享网络用户的风险。
常见问题
只看 User-Agent 能判断吗？
不能。它可以被伪造，只适合初筛；重要爬虫应结合来源验证和行为记录。
访问频率高就一定是恶意爬虫吗？
不一定。活动流量、共享出口和合法抓取都可能带来短时高峰，还要看路径、持续时间及服务影响。
robots.txt 能挡住恶意爬虫吗？
不能强制拦截。它表达站点抓取规则，只对主动遵守规则的爬虫有效。
证据不足时该怎么处理？
先记录并观察，必要时对高成本接口限速；避免仅凭一个特征永久封禁。
