顶级 OSINT 工具：抢在黑客之前找出敏感公开信息
星期一, 十月 21, 2019
黑客使用开源情报查找可帮助他们入侵系统的信息。使用这些工具可看清此类信息到底暴露了多少。
上世纪 80 年代，军方和情报机构开始将某些信息收集活动从读取对手信件或窃听器电话等秘密行动，转变为发现隐藏的秘密。大量工作被放到了查找公开可用甚或官方发布的有用情报上。
当时的世界正在经历巨变，即便还没出现社交媒体，也有各种各样的信息源，比如报纸和公开可用的数据库，包含有趣甚至有用的信息，尤其是在知晓如何连点成面纵览全局的人眼里。此类间谍秘笈得名开源情报 (OSINT)。
间谍用的 OSINT 技术如今也可应用到网络安全领域上。多数公司企业都有面向公众的庞大基础设施，横跨多个网络、技术、托管服务和名字空间。信息可存储于员工桌面电脑、遗留现场服务器、员工自己的 BYOD 设备、云端，可嵌入到网络摄像机之类设备内部，甚至隐藏在活跃应用及程序的源代码中。
事实上，大公司的 IT 员工基本上无法确知自家企业的所有资产，无论该资产是否公开。除此之外，很多企业间接拥有或控制着多个额外的资产，比如其社交媒体账户。如此一来，可能存在很多信息如果落入坏人之手就会带来很大风险。
由此，新型 OSINT 工具应运而生。尽管各有偏重，此类工具基本具备三项功能。
1. 发现公开资产
此类工具最常见的功能就是帮助 IT 团队发现公开资产，映射这些资产各自持有哪些可形成潜在攻击界面的信息。基本上，这些工具不会去查找程序漏洞或执行渗透测试。其主要工作是记录无需黑客攻击便可找到或了解公司资产的那些信息。
2. 发现公司外部的相关信息
OSINT 工具执行的第二项功能是查找公司外部的相关信息，比如在社交媒体发布或严格定义网络之外的域或位置查找。历经多次并购重组，不断融合兼并公司 IT 资产的公司企业会发现该功能十分有用。鉴于社交媒体的飞速增长和普及，在公司边界之外查找敏感信息可能对任何组织都有用。
3. 将所发现信息整理成可行表格
最后，有些 OSINT 工具有助于将所发现信息分门别类整理成有用的可行性情报。大企业执行 OSINT 扫描可能产生几百万条结果，尤其是扫描选项中既包含内部资产也包含外部资产的时候。若能拼合所有数据，能够优先处理最紧急的问题，无疑是相当有帮助的。
选对 OSINT 工具有助于发现有关公司、员工、IT 资产和其他凭证或敏感数据等可被攻击者利用的信息，可改善公司网络安全状态。发现此类信息后再隐藏或移除之，可以减少从网络钓鱼到拒绝服务等各种各样的攻击。
下面列出用于 OSINT 的几个顶级工具（排名不分先后），描述各自专精领域，阐述其区别于其他工具的特性，讲述各自可为公司网络安全工作带来的具体价值。
1. Maltego
Maltego 擅长发现人员、公司、域和互联网上公开访问信息之间的关系。该工具也以可摄入大量已发现信息并以直观易懂的图表呈现而闻名。这些图表在将原始情报转化为可行情报上表现良好，每幅图可拥有多达 1 万个数据点。
Maltego 自动化搜索不同公开数据源，所以用户可以一键执行多个查询。该程序将搜索计划称为“转换操作”，并默认设置了不少包含常见公开信息源的计划，比如 DNS 记录、Whois 记录、搜索引擎和社交网络。因为采用公共接口执行搜索，该程序兼容具备公共接口的任意信息源，所以向转换操作添加更多搜索或构建全新转换操作都十分方便。
信息收集完毕后，Maltego 会关联信息以揭示姓名、电子邮件地址、别名、公司、网站、文档拥有者、子公司和其他信息间的隐藏关系，辅助调查，或查找潜在问题。Maltego 是 Java 程序，兼容 Windows、Mac 和 Linux 平台。
名为 Maltego CE 的精简版是免费的。桌面版 Maltego XL 每实例 1,999 美元。大规模商业用途的服务器安装版 4 万美元起，附有全套培训项目。
2. Recon-ng
Recon-ng 是 Python 程序，界面与著名的 Metasploit Framework 非常相似，用过 Metasploit 的人应该很快就能上手。该程序还具备很多 Python 模块缺乏的互动帮助功能，开发人员的学习时间应该不会太久。
Recon-ng 自动化很多耗时的 OSINT 操作，比如剪切和粘贴。虽没宣称可执行所有 OSINT 收集操作，但 Recon-ng 可用于自动化大部分主流信息收集，为仍需人工处理的事件留出更多时间。
Recon-ng 采用内置大量功能的模块化框架，使最初级的 Python 开发人员都可以创建公开可用数据搜索并返回优质结果。标准化输出、数据库互操作、发送 Web 请求和管理 API 密钥等常见任务均可在界面中找到。开发人员不用编程执行搜索，只需选择想要执行的功能，几分钟之内就能构建出自动化模块。
Recon-ng 是免费开源软件。维基上有此工具的使用指南，还有其最佳实践的详尽介绍。
3. theHarvester
theHarvester 是本列表中最简单的工具，旨在捕获公司自有网络之外存在的公开信息。此工具也可查找内部网络上的意外事件，但其主要用途还是面向外部的。用于渗透测试或类似演习前的侦察步骤也很有效。
theHarvester 采用的信息源包含 Bing 和 Google 等常用搜索引擎，还有不那么为人所知的 dogpile、DNSdumpster 和 Exalead 元数据引擎。Netcraft Data Mining 和 AlienVault Open Threat Exchange 也为其所用。theHarvester 甚至能利用 Shodan 搜索引擎来查找已发现主机上的开放端口。总体上，theHarvester 工具收集电子邮件、名称、子域、IP 和 URL。
theHarvester 无需特别准备就可访问大多数开放源。但有些源需要 API 密钥。另外，其最低环境要求是 Python 3.6。
任何人都可在 GitHub 上获取 theHarvester。建议在克隆时使用 virtualenv 命令创建单独的 Python 环境。
4. Shodan
Shodan 是查找数十亿物联网设备相关情报的专用搜索引擎，这些设备通常不可搜索，但如今已遍布生活的方方面面。Shodan 搜索引擎也可用于查找目标系统上的开放端口和漏洞。theHarvester 等一些其他 OSINT 工具会将 Shodan 用作数据源，尽管与 Shodan 的深度互动需要付费账户。
Shodan 可监视和搜索的位置之多令人惊讶，是能够检查运营技术 (OT) 的少数搜索引擎之一，可用于检测电站和制造工厂之类地方的工业控制系统。如果没有 Shodan 这样的工具，对部署了 IT 和 OT 两种技术的产业执行 OSINT 收集工作，就会缺失很大一块。
除了摄像头、建筑传感器和安全装置等 IoT 设备，Shodan 还可检查数据库一类的东西，查看除主要接口之外还有没有别的公开可用的渠道从中获取信息。Shodan 甚至可用于视频游戏，发现隐于企业网络上的《我的世界》和《反恐精英：全球攻势》服务器，查看产生了哪些漏洞。
任何人都可购买自由职业者许可，每月可扫描至多 5,120 个 IP 地址，返回最多 100 万条结果。售价 59 美元每月。企业许可每月扫描 IP 地址上限为 30 万个，返回结果数不限。企业版每月花费 899 美元，包含漏洞搜索过滤器和高级支持。
5. Metagoofil
又一款 GitHub 上免费可用的工具，对公开文档元数据抽取做了优化。Metagoofil 几乎可调查公开渠道可达的任意文档类型，包括 .pdf、.doc、.ppt、.xls 等。
Metagoofil 所能收集的有趣数据量大到惊人。搜索返回的东西包括与已发现文档相关联的用户名，如果可用的话，有时候还有真实姓名。该工具还可绘制出访问这些文档的路线图，提供文档宿主企业的服务器名称、共享资源和目录树信息等。
Metagoofil 找到的所有东西都对黑客有用，黑客可以之发起密码暴力破解攻击或者电子邮件网络钓鱼攻击。想要保护自身的公司也可以利用同样的 OSINT 信息，在恶意黑客采取行动前加以防护或隐藏。
6. searchcode
若需真正深入探索 OSINT 收集复杂矩阵，searchcode 是查找源代码中有用情报的高度专业化搜索引擎。令人惊讶的是，这么强大的引擎竟然仅是一名开发人员的杰作。
因为要先添加代码库才可以搜索程序，searchcode 其实跨越了 OSINT 工具和非公开信息搜索工具之间的界线。但因为开发人员可以发现在用应用或开发中应用的代码内含敏感信息问题，searchcode 仍可被视为一款 OSINT 工具。若是针对开发中的应用，这些问题就能在应用从开发阶段进入生产环境之前修复。
尽管涉及代码的任何问题都要求比谷歌搜索更高深一点的知识，但 searchcode 在将界面做到尽可能简单易用方面成效不错。用户只需输入其检索字段，searchcode 就会返回相关结果，代码行中高亮显示要搜索关键词。推荐搜索包含用户名、eval $_GET 调用类安全漏洞、re.compile 这种多此一举的函数，以及可被用于触发代码注入攻击的特殊字符。
大多数时候，searchcode 返回的结果是不言自明的。不过，如果有需要的话，也可以仔细筛查以找出更深层次的信息或匹配问题。
不是每起黑客事件或入侵都涉及高级持续性威胁或复杂深度渗透。与大部分一样，黑客也喜欢走最简单的路径达成自己的目标。如果想要的信息通过公开渠道就能入手，何苦花费几个月的辛苦劳作突破严密网络安全防线？至少，敏感信息可用作获取有效凭证的捷径，或者帮助以更小的工作量或风险策划有效入侵。
OSINT 工具可帮助公司企业了解有关自身、自身网络、数据和用户的信息有哪些是公开可用的。快速找出这些信息可以抢在黑客利用之前加以删除，保障公司网络安全。这些工具可视为攻防竞赛中的强力推进器。
Maltego：
Recon-gn：
https://github.com/lanmaster53/recon-ng
theHarvester：
https://github.com/laramies/theHarvester
Shodan：
Metagoofil：
https://github.com/laramies/metagoofil
searchcode：
相关阅读
如有侵权请联系:admin#unsafe.sh