豆瓣9.7,来自腾讯的大数据安全对抗经验结晶
2023-2-21 08:5:13 Author: 李白你好(查看原文) 阅读量:24 收藏

关注我们丨文末赠书

互联网创造了新的时代,但伴随而来的,也有黑灰产这样的“恶疾”。只要身处网络中,我们每个人可能都是黑产眼中的目标。我想以一次亲身经历的事件进行说明,这种危害有多大。

当时,我所在的公司以视频业务为基础,推动成立了一个广告联盟。加盟成员通过挂载我们的广告链接,可以按点击数分成。这是一个很理想的模式,但差点被黑产搞失败。

业务上线没多久,我们就发现有的加盟成员广告点击量超高,但转化率几乎没有变化。面对这种异常情况,我们只好暂停支付分成,分析后台日志数据。

结果发现点击时间段非常集中,IP地址也就那么几个,有很明显的自动化刷量行为。我们认为数据存疑,要求对方也给出后台数据进行核对,他们就没有再纠缠。

但没过多久,异常流量再次出现,这次访问时间分散开了,IP地址也不重复了,我们意识到这是遇上了专业黑产。因此我们不得不紧急修补规则,为这不知道熬了多少夜、加了多少班。

所以,凡是在互联网开展业务的企业,都必须要建立起专业的反欺诈体系。

《大数据安全治理与防范——反欺诈体系建设》这本书就如何对抗黑产,给出了具体的对抗思路、关键技术方案与反欺诈实战案例,帮助企业打造安全护城河。

点击封面,即可购书

本书凝结了腾讯的一线经验,可以帮助读者全面学习大数据安全治理与防范的背景、关键技术和对抗思路,手把手教你打造反欺诈对抗系统。

作者张凯张旭是来自腾讯的工程师。一直从事大数据安全方面的工作,积累了10多年的黑灰产对抗经验,主要涉及游戏安全对抗、业务防刷、金融风控和反诈骗对抗系统等,拥有丰富的实战经验。

知彼知己,百战不殆。我们先来了解一下,黑产都是怎么干坏事的吧。

01

黑产面面观

骗子说:“我有 100 种方法让你上当。”这不是自吹自擂,是事实。公安部门打击的电信网络诈骗类型就有 100 多种。

电信网络诈骗的可恨之处,就在于它是冲着这个社会上的弱势群体去的。例如信息不足的老人、低收入人群,以及患者等。常用的手段有刷单兼职、“杀猪盘”、低息贷款、虚假医疗广告等。

企业经营者最恨的就是营销欺诈,黑产一次作恶,就能将营销活动的效果降为零。之前提到我公司被黑,就是典型的刷量作弊。还有“薅羊毛”,把优惠、返利等尽数吞没。

还有身份盗用这类欺诈行为,盗取正常用户信息,伪造之后用来骗取贷款。网络色情、网络赌博、网络洗钱等活动,都是黑产的罪恶勾当。那么黑产干这些坏事都用了什么技术手段呢?

猫池

黑产需要大量的虚假账号来进行诈骗活动,要实现自动化养号,“猫池”就是一种硬件设备,一台机器就可以维持上百张手机卡(“黑卡”)的活跃状态。你接到的诈骗电话,很有可能就来自这样的手机卡。

猫池设备

改机工具

在“薅羊毛”的活动中,平台会限制同一 IP 与同一设备仅能参与一次。黑产就另辟蹊径,使用改机工具篡改手机 IMEI 、MAC 地址等属性,一台设备就能无限次使用。针对 IP 的限制,黑产会使用 IP 工具绕开,这些手段包括代理 IP 、秒拨 IP 、IP 魔盒等。

某改机工具示意图

多开软件

多开软件可以实现在同一台设备上安装多个相同应用。例如想装多少个微信都可以,方便进行“杀猪盘”这样的社交诈骗。由于多开软件使用起来十分便捷,因此近年来多开软件被黑产团伙所利用,用于刷量“薅羊毛”“杀猪盘”社交、多账号欺诈等,大大提升了作恶效率。

虚拟定位工具

通过工作,诈骗团伙甚至可以制造假的定位,这在黑产中有很多应用。如在“杀猪盘”诈骗中,诈骗人员使用虚拟定位工具将自身定位到上海、深圳等一线城市,将自己伪装成金融或科技精英,增强身份的可信度,进一步骗取受害人的信任。

按键精灵

这个工具可以模拟用户的按键操作,包括输入、点击、滑动等。在企业营销活动中,用大量虚假账号加上自动化的按键精灵,黑产就能将大多数利益收割走。

看得出来,黑产为了非法获利,真是无所不用其极。不过魔道相长,接下来看看我们手中的反诈利剑吧。

02

反诈利剑:应用大数据技术与特征工程

黑产使用技术工具的特点是:快、变、新。

,就是自动化程度高,仅用很少的人力就能实现规模较大的犯罪活动;,就是作案手段多样,一条路不通,马上就有替代方案;,是运用的黑产技术较新,技术工具迭代升级快。

面对如此凶残狡猾的敌人,我们要如何用大数据与特征工程打败他们呢?

大数据的原理是收集海量的原始数据,再对数据进行清洗与计算,最后支撑业务层的应用。

其典型架构可分为三层:

·第一层是存储原始数据;

·第二层是中间计算平台;

·第三层是数据分析业务应用。

大数据的基本流转过程

特征工程,是基于相关知识将原始数据处理成特征的过程。也就是在对抗黑产的过程中,通过大数据技术完成数据的存储与计算,再使用特征工程识别黑产,对其进行定向打击。

有句话说的是“数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已”。以机器学习为代表的人工智能技术,在对抗黑产的大业中起着不可替代的作用。

特征工程中的最重要一步,就是特征学习,它有两种方式:

一种是有监督的特征学习,在学习中引入样本信息,借助于样本,从原始数据中整合出有效特征;

另一种是无监督的特征学习,它在构建特征的时候只考虑数据本身的规律,不借助样本信息。

通过数据构建出大量特征之后,就要对特征进行筛选,从而进行模型训练工作。筛选特征有3个方法,分别是过滤法、包装法、嵌入法。它们的基本思路,是对特征进行评估、排序、计算权重,以将重要的特征保留下来。

当模型训练完成时,反诈之剑也就铸成,只等着向黑产奋力刺去。

03

斩断罪恶黑手:实施对抗与反欺诈

利剑在手,我们可以从三个方面对黑产出击:一是基于流量的对抗,二是基于内容的对抗,三是基于复杂网络的对抗。

基于流量的对抗

在前面提到的,我公司遭遇的刷量作弊,现在就可以采用基于流量的对抗办法。包括可实施人机验证、风险名单、规则引擎、多模态集成模型识别等。这些方法的技术原理与实践在《大数据安全治理与防范——反欺诈体系建设》书中有详细说明。

上述方法的实施成本依次递增,企业可根据自身业务特点与安全需求量身定制。能以最小代价解决问题,就没有必要过度建设。

基于内容的对抗

针对大众人群,内容欺诈是黑产最常用的手段。例如通过短信、微信、微博等社交平台发布大量欺诈信息。其媒介包括文本、图像、视频、音频等内容。

黑产一般不会使用常规文字,而是采取同音字、形似字、拆分字、变形字等方式绕过风控系统。图像也一样,会做极化、扭曲处理。下图是我手机收到的一例短信,还有书中展示的极化图像。

诈骗短信,可以观察一下用到了多种文本变化手段:

图像亮度极化案例

对抗内容欺诈,最主要的思路,就是将变形转换后的内容还原回去。在文本内容对抗中,自然语言处理类 AI 算法是特征工程的核心。在图像内容对抗中,基于神经网络的深度学习,是图像分类模型的主流建模范式。

基于复杂网络的对抗

无论黑产怎样实施诈骗活动,他们最终是要将非法所得收入囊中的,那么由这些虚假账户、站点、银行卡号、支付宝/微信收款二维码作为点,诈骗活动作为边,就可以构成一张传播网络。

账号节点扩散结果

复杂网络对抗的过程,首先是将点与边的关系构建为网络图,然后对网络图进行测度,找出关键节点,并运用特征工程进行监控。一旦发现异常,就可以即时处理。

例如在金融风控领域,通过复杂网络对抗,往往能在受害者转账的最后一刻发出警示,避免损失。大数据与人工智能技术,可谓功不可没。

04

网络安全之路漫漫

对个人安全来说,个体要保持警觉,做到事前防范,事后及时报警;对于企业安全,则一定要建立风控系统,这项投资是不能节约的,永远不要对黑产抱有侥幸心理。

《大数据安全治理与防范——反欺诈体系建设》从原理到实践都有翔实说明,可以为企业提供风控技术参考,从而以最低的成本获得性价比最高的安全保障。

点击封面,即可购书

本书是“大数据安全治理与防范系列”的第一本,这个系列的两本新书《大数据安全治理与防范——网址反欺诈实战》《大数据安全治理与防范——流量反欺诈实战》,预计年底前会上市。第一本书搭建了反欺诈的理论框架,而后面两本书是不同应用场景下的实战应用,敬请期待。

只要有利益驱动,黑产就永远不会收手,而且他们也在不断地迭代作恶的工具箱。大数据与人工智能技术,一样也会被黑产拿来升级反对抗措施。

这意味着在对抗黑产的这条路上,就是魔道相长的过程。要想阻断黑产之手,我们就必须先其一步,在大数据技术与人工智能为基础的特征工程上,不断探索前进。

作者:阿诺

审校:栾传龙、单瑞婷

—END—

你对网络黑产有什么认识?

在留言区参与互动,并点击在看和转发活动到朋友圈,我们将选1名读者获得赠书1本,截止时间2月28日。

后台回复【异步图书】参加活动~


文章来源: http://mp.weixin.qq.com/s?__biz=MzkwMzMwODg2Mw==&mid=2247497208&idx=2&sn=ebdd00f19f4a5accc13c5bd36f3023d4&chksm=c09a86a8f7ed0fbe36ae433ce156923f5c3402afc1bec91d4261725cbc99926e1c5cbd13c128#rd
如有侵权请联系:admin#unsafe.sh