在国内，互联网金融用户规模已超9亿，占全国网民的87%。然而，在这庞大的用户访问体量中，除了真实用户流量，还混杂着无数的“爬虫机器人”流量。

Freebuf与公安部三所联合发布的《2020-2021年金融行业网络安全研究报告》显示：邮件钓鱼、撞库/账号盗用、爬虫、规模化薅羊毛依然是金融业务场景面临的主要风险。

01 爬虫一响，黄金万两

作为一种非常普遍的数据挖掘技术，爬虫程序能够模拟人的行为在互联网上对目标数据信息进行自动化抓取，效率极高。

当爬虫技术被网络黑灰产团伙恶意用于互联网金融行业时，能够引起从数据到业务、金钱，方方面面的安全风险：

• 数据安全风险

大批量爬取金融产品信息、利率汇率信息、实时行情、投资资讯、投资研报等内容，爬取用户敏感信息，用以倒卖、编造诈骗话术等；

• 账户安全风险

进行大批量地撞库盗号、垃圾注册、诈骗短信轰炸等；

• 营销欺诈风险

自动化薅羊毛，恶意抢占营销资源；

• 信贷欺诈风险

通过假证件大量申请信用卡恶意透支、骗取贷款等；

• 钓鱼网站威胁

自动抓取银行官网页面内容，通过相似的伪造域名搭建高仿网站，钓鱼窃取个人信息、实施诈骗等；

• 网站入侵威胁

对金融平台web元素、页面源代码等进行扫描，自动分析后台服务器的潜在漏洞，做进一步入侵渗透；

• 业务瘫痪风险

产生超过服务器承载能力的查询访问并发，导致系统卡顿或瘫痪等。

而爬虫又十分难缠，它们善于伪装，隐藏于正常用户访问中，并且还能见招拆招，持续进化。反爬的关键就在于精准识别真实用户和爬虫流量。

比较常见的反爬虫技术手段包括针对单个访问频率超过阈值的IP、User-Agent或Session进行封禁；或者对这几个维度组合起来设置阈值，对超过阈值的进行阻断或要求进一步验证。

然而，对于手握高达百万级IP池的专业网络黑灰产团伙而言，通过轮换IP、更改UA等方式就可以轻松绕过大部分反爬策略。越来越智能的新型爬虫，更是令人防不胜防。

02  当智能爬虫遇上智能反爬

爬虫与反爬的“斗争”每天都在上演，力量此消彼长。如何在有效反爬的同时，避免误杀正常用户和搜索引擎爬虫，给金融机构提出了挑战。

智能化爬虫，需要智能手段来应对。近年来，AI的深度学习能力也被运用到了反爬虫领域当中。通过AI分析模型，对站点访问流量进行深度学习，从中分析出人与爬虫的本质差异，从而实现精准的爬虫治理。而AI分析的准确度，很大程度上取决于学习样本量的大小。

网宿的BotGuard爬虫管理，拥有全网日均TB级的海量数据及攻防样本，为AI爬虫分析提供强大基础，结合多维访问控制、合法性验证、交互验证等丰富的管理策略和多年爬虫对抗累积的专家经验，帮助金融机构及其他爬虫“重灾区”行业实时检测并阻断复杂恶意爬虫流量。

03 携手网宿，一家老牌基金的反爬实战

一家管理着数百只基金的公募基金管理机构“A基金”，在不断拓宽线上业务的同时，也在持续与恶意爬虫进行对抗。

爬虫高频地查询、抓取基金网站、APP上发布的基金行情、各类基金公告，给源站网络和服务器性能造成了极大的压力，爬走的基金信息被用于非法途径，给平台造成业务和声誉损害的风险，也一直像一把刀一样悬在A基金的头上。

A基金过往主要采用的是IP粒度的访问频率限制拦截爬虫，虽然当下能起作用，但当爬虫一改变攻击方式，防护效果就开始下降。而且这种粗粒度的“一刀切”，不仅容易造成误杀，对一些低频爬虫防护作用也有限。

于是，A基金希望借助网宿智能、灵活的分布式爬虫管理网络，解决一直以来爬虫防护效果不佳的问题。

网宿安全专家为A基金定制BotGuard爬虫管理方案，针对性识别并拦截活跃在基金行情、公告查询到下载整个流程的恶意爬虫。

• 与爬虫的第一轮交锋，是试探与观察

网宿结合业内领先的全网情报库及JS、cookie校验等爬虫特征分析策略，一方面放行搜索引擎爬虫，避免影响网站SEO，另一方面对可疑IP、UA及客户端设备进行初步过滤，并为每一个客户端打上唯一设备指纹。在初步拦截下，爬虫流量有明显回落。

不过，对于专业网络黑灰产团伙来说，他们的反击也才正式拉开序幕。因此，接下来才是真正的胜负手！

• 第二轮，AI上场，发起精准打击

基于打标好的设备指纹，网宿安全专家开启大数据+业务流AI分析，对访问流量在整个业务流程中的会话进行密切监控和深度学习，生成异常行为识别模型和精细化访问控制策略。

通过匹配异常行为模型进行识别和处置，恶意爬虫流量得到全面且精准地拦截，源站网络和性能压力得到释放。正常用户不仅未见被误杀的情况，访问A基金平台也更加顺滑流畅了。

• 第三轮，持续对抗

当然，防爬虫是一个此消彼长的过程。恶意爬虫流量得到稳定抑制后，BotGuard的AI识别模型仍然在动态优化，为A基金持续防护复杂且不断变异的爬虫攻击，日均识别并阻断恶意爬虫攻击超100万次。

恶意爬虫危害的不仅有互联网金融行业，根据网宿安全实验室的数据，2021年，网宿安全平台监测并拦截的恶意爬虫攻击次数同比2020年翻了2.36倍。爬虫攻击正在以相当高的增速加剧对各行各业的威胁。

对于善于伪装、对抗性强且持续进化的爬虫威胁来说，网宿BotGuard依托于全球分布式爬虫管理网络，以日均TB级数据的攻防学习样本，动态优化智能识别模型，稳定服务于互联网金融、电商、房地产、交通运输、游戏等饱受爬虫影响的各行业用户，提供灵活、精准的处置策略，持续守护业务稳定性与核心数据安全。

网宿安全

【网宿安全介绍】 基于全球广泛分布的边缘节点，依托10余年安全运营和海量攻防数据，「网宿安全」构建从边缘到云的智能安全防护体系，提供DDoS防护、Web应用防护、爬虫管理、远程访问安全接入、安全SD-WAN、主机安全等全方位的安全产品及服务，覆盖云安全、企业安全和安全服务等领域，助力企业构筑基于零信任和安全访问服务边缘(SASE)模型的全新安全架构，护航网络安全，为数字时代保驾护航。 网宿科技(300017)成立于2000年，2009年于创业板首批上市，是全球领先的边缘计算及安全服务商，业务遍及全球70多个国家和地区。公司始终致力于提升用户的数字化体验，满足用户随时随地、安全、可靠的数据处理及交互需求。