开源情报 (OSINT) 是一种从公共或其他开源来源收集信息的方法,可供网络安全专家、国家情报/执法机构或网络犯罪分子使用。当网络防御者使用时,目标是发现攻击者可能使用的与其组织相关的公开信息,并采取措施防止未来的攻击。
OSINT 利用先进技术来发现和分析海量数据,这些数据是通过扫描公共网络、社交媒体网络等公开来源以及深层网络(不被搜索引擎抓取但仍可公开访问的内容)获得的。
OSINT 工具可以是开源的,也可以是专有的:应区分开源代码(open source code )和开源内容(open source content)即使工具本身不是开源的,但作为一种 OSINT 工具,它提供了获取公开内容的途径,即所谓的开源情报。
OSINT 一词最初由军方和情报界使用,指收集具有战略重要性的、公开的国家安全问题信息的情报活动。
冷战时期,间谍活动主要通过人力情报来源(HUMINT)或电子信号(SIGINT)获取信息,20 世纪 80 年代,操作系统情报(OSINT)作为收集情报的另一种方法逐渐受到重视。
随着互联网、社交媒体和数字服务的出现,开源情报可提供大量资源,用于收集有关企业 IT 基础设施和员工各个方面的情报。安全组织意识到,他们必须收集这些公开信息,才能领先攻击者一步。
CISO 的首要目标是找到可能对组织构成风险的信息。这样,CISO 就能在攻击者利用威胁之前降低风险。OSINT 应与常规渗透测试结合使用,在渗透测试中,通过 OSINT 发现的信息被用来模拟对组织系统的入侵。
开源情报有三种常见用途:网络犯罪分子、网络防御者以及那些寻求监控和塑造公众舆论的人。
对于渗透测试人员和安全团队来说,OSINT 的目的是揭示有关内部资产的公开信息以及组织外部可访问的其他信息。组织意外发布的元数据可能包含敏感信息。
例如,可通过 OSINT 揭示的有用信息包括开放端口;存在已知漏洞的未打补丁软件;公开的 IT 信息,如设备名称、IP 地址和配置;以及属于组织的其他泄露信息。
组织外部的网站,尤其是社交媒体,包含大量相关信息,特别是有关员工的信息。供应商和合作伙伴也可能分享有关组织 IT 环境的具体细节。当一家公司收购其他公司时,其公开信息也会变得相关。
攻击者使用 OSINT 的一个常见手段是在社交媒体上检索员工的个人和职业信息。这些信息可用于针对拥有公司资源访问权限的个人发起鱼叉式网络钓鱼活动。
LinkedIn 是这类开源情报的绝佳资源,因为它能显示职位名称和组织结构,国内的脉脉在HVV中也被用来进行溯源。
其他社交网站对攻击者来说也非常有价值,因为它们会披露出生日期、家庭成员姓名和宠物等信息,所有这些信息都可用于网络钓鱼和猜测密码。
另一种常见策略是利用云资源扫描公共网络,查找未打补丁的资产、开放端口和配置错误的云数据存储。如果攻击者知道自己在寻找什么,他们还可以从 GitHub 等网站获取凭据和其他泄露信息。
缺乏安全意识的开发人员可以在代码中嵌入密码和加密密钥,而攻击者可以通过专门的搜索找出这些秘密。尤其是在Open AI蓬勃发展的现在,开发人员面向Chatgpt编程,扪心自问是否有涉密项目的代码被你推送给了Chatgpt或者你在提问的时候不小心将隐私信息提供给了Chatgpt?
除网络安全外,OSINT 还经常被寻求监控和影响公众舆论的组织或政府使用。OSINT 可用于市场营销、政治活动和灾难管理。
以下是获取公开情报数据的三种常用方法。
被动采集:这是收集 OSINT 情报最常用的方法。它包括搜索公开网站,从 Twitter API 等开放 API 中检索数据,或从深层网络信息源中提取数据。然后对数据进行解析和组织,以供使用。
半被动采集:这种收集方式需要更多的专业知识。它将流量导向目标服务器,以获取有关服务器的信息。扫描器流量必须与正常互联网流量相似,以避免被检测到。
主动采集:这种类型的信息收集直接与系统互动,收集有关系统的信息。主动收集系统使用先进技术访问开放端口,扫描服务器或网络应用程序是否存在漏洞。这类数据收集会被目标检测到,并暴露侦察过程。它会在目标的防火墙、入侵检测系统 (IDS) 或入侵防御系统 (IPS) 中留下痕迹。对目标的社会工程学攻击也被视为一种主动情报收集。
OSINT 技术在不断进步,许多人建议使用人工智能和机器学习(AI/ML)来协助 OSINT 研究。据公开报道,政府机构和情报机构已经在使用人工智能来收集和分析社交媒体上的数据。军事组织正在使用人工智能/移动ML 来识别和打击社交媒体渠道上的恐怖主义、有组织网络犯罪、虚假宣传和其他国家安全问题。随着人工智能/人工智能技术在私营部门的应用,它们可以在以下方面提供帮助:
1.改进数据收集阶段--过滤噪音并确定数据的优先次序
2.改进数据分析阶段--关联相关信息并确定有用的结构
3.提高可操作的洞察力--人工智能/ML 分析可用于审查比人类分析师多得多的原始数据,从可用数据中获得更多可操作的洞察力。
Maltego:Maltego 是 Kali Linux 操作系统的一部分,常用于网络渗透测试人员和黑客。它是开源的,但需要向解决方案供应商 Paterva 注册。用户可以针对目标运行 "机器"(一种脚本机制),根据想要收集的信息进行配置。
Spiderfoot:Spiderfoot 是 Github 上的一款免费 OSINT 工具。它与多个数据源集成,可用于收集有关组织的信息,包括网络地址、联系方式和凭证。
Spyse:Spyse 是专为安全专业人员设计的 "互联网资产搜索引擎"。它从公开来源收集数据,对其进行分析,并识别安全风险。
Intelligence X:Intelligence X 是一种存档服务,可保存因法律原因或内容审查而被删除的网页的历史版本。它可以保存任何类型的内容,无论多么黑暗或有争议。这不仅包括公共互联网上被审查的数据,还包括来自暗网、维基解密、已知参与网络攻击的国家的政府网站以及许多其他数据泄露的数据。
BuiltWith:BuiltWith 维护着一个庞大的网站数据库,其中包括每个网站使用的技术堆栈信息。您可以将 BuiltWith 与安全扫描程序结合使用,以识别影响网站的特定漏洞。
Shodan:Shodan 是一种安全监控解决方案,可以搜索深层网络和物联网网络。它可以发现连接到网络的任何类型的设备,包括服务器、智能电子设备和网络摄像头。
HaveIbeenPwned:HaveIbeenPwned 是一项服务,受数据泄露影响的消费者可以直接使用。它是由安全研究员特洛伊-亨特开发的。
Google Dorking:Google dorking 并不完全是一种工具,它是安全专业人员和黑客常用的一种技术,用于通过 Google 搜索引擎识别暴露的私人数据或安全漏洞。谷歌拥有世界上最大的互联网内容数据库,并提供一系列高级搜索运算符。使用这些搜索运算符可以识别出对攻击者有用的内容。
最新开源情报技术文档扫码获取