ChatGPT vs Gemini：谁在网络安全运营中更好用？
日期：2024年03月18日 阅：83
AI大模型的行业应用无疑是当前最火热的话题。在AI大模型的驱动下，整个信息科技领域故事不断。而在网络安全领域，AI大模型也为网络安全运营工作开辟出新的想象空间。作为AI大模型领域的两个代表性工具，OpenAI在2月初推出了ChatGPT 4.0收费版（ChatGPT Plus），谷歌也将Google Bard免费版正式升级为Gemini。在网络安全运营工作中，这两个全新发布的产品谁的可用性更好呢？在本文中，IBS Software的安全研究团队精心设计了十大安全运营用例，对这两种工具进行了针对性的测试。
1 生成流程示意图
结果：Gemini表现基本合格，ChatGPT存在误导问题
这两种工具都宣称能够生成流程示意图。然而，Gemini承认只能生成基于ASCII码的示意图，如果用户想要更高级的功能，需要额外购买更专业的工具。在本次测试中，研究人员让这两种工具分别生成一个示意图来解释一次身份安全的验证流程，并将结果进行了比较。
结果显示，Gemini用ASCII加以表示，流程图表现合格，将整个图细分为几个实用的类别；而ChatGPT生成的流程图尽管看起来很专业，但存在严重的误导问题，其所表示的根本就不是身份验证流程。同时，其对流程的描述也存在大量错误，不仅拼写有误，使用的术语也不准确。
2 解释安全架构示意图
结果：Gemini更加简洁，ChatGPT中规中矩
这两种工具获得安全架构示意图后都能够解释具体情况。结果比要求它们生成检测流程示意图时的表现好得多。在本次测试中，研究人员使用Edgenexus公司的Web应用程序防火墙（WAF）架构示例作为了输入。结果显示，Google Gemini表述的更加简洁，在解释架构示意图方面做得更胜一筹。ChatGPT的输出表现可以说中规中矩，但是解释过程有点啰嗦。
3 解释安全漏洞利用代码
结果：两者难分伯仲
在企业日常的安全运维（SecOps）工作中，有一项基础的任务就是试图找出特定恶意软件或漏洞利用代码的具体用途。测试者将最近的Elasticsearch堆栈溢出公共漏洞利用代码输入到这两种工具中，实际测试了它们的解读能力。结果显示，两种工具在这方面没有明显的差距，都能比较正确地识别漏洞利用代码，并解释最终结果，说明代码的每个部分有什么用途以及代码工作原理。
4 解读安全日志文件
结果：Gemini解释得更清楚
安全运营专业人员常常需要分析海量的安全日志文件，并从中了解到底发生了什么。在此项测试中，测试人员分别为这两种工具输入了一起攻击事件的CEF格式日志文件示例，并要求每种工具通过分析日志来解释发生了什么。结果显示，Gemini解释得更清楚，总结全面，甚至给出了应该采取哪些后续处置措施的建议。它在分析的开始就清楚地阐明了发生了什么事情（企图访问/etc/passwd），并详细解释了它是如何得出这个结论的。ChatGPT尽管也得出了同样的结论，但是解释的过程有点混乱，缺乏清晰的表述逻辑。
5 编写安全运营策略和安全文档
结果：Gemini更胜一筹
AI大模型具有强大的运营策略和安全文档编写能力，这有望提高企业安全运营流程的标准化，使其能够适应安全环境变化，这将是一种非常关键的应用价值体现。本次测试中，研究人员对Gemini和ChatGPT的运营策略编写能力进行了测试，结果显示：Gemini能够更清楚地理解并生成安全文档，综合表现比ChatGPT更胜一筹。
6 识别易受攻击的代码
结果：两者均有不俗表现
虽然Gemini和ChatGPT这两种生成式AI工具都不是为网络安全运营工作而设计的，目前也不很少被用于识别易受攻击的代码，但在实际测试中，它们均有着有不俗的表现。测试人员分别为这两种工具提供了一个不安全的直接对象引用（IDOR）漏洞示例来进行测试，该示例中还含有SQL注入漏洞。
测试结果显示，ChatGPT正确地识别了漏洞和缺乏身份验证的问题，但最初并没有发现SQL注入漏洞，而是在为它进行了相关提示后才成功发现。Gemini未能发现IDOR，但却快速指出了SQL注入漏洞，并进一步建议了改如何修改代码以修复该漏洞。
7 编写脚本和代码
结果：都有着较强大的代码编写能力
在现代企业的安全运营中心（SOC），有一项常见的工作就是编写用于日志解析或海量数据处理的自动化处理脚本。本次测试中，研究人员给了这两种工具如下提示：“编写一个Python脚本，从一个txt输入文件中提取所有IPv6地址，删除所有重复的地址，执行查询以确定IP所有者的地理定位并识别身份，将结果输出到一个CSV文件中。”
测试结果显示，这两种工具都有着强大的代码编写能力，均能够准确生成清晰易读的代码，并能够解释出工作原理。
8 分析数据和安全指标
结果：Gemini一败涂地，ChatGPT优势明显
研究人员还测试了这两种工具是否能够帮助安全运营人员分析样本数据或安全指标。Gemini在这项测试中一败涂地，因为它几乎不具备这种能力，只能指导用户如何在Excel和Power BI中实现这项操作。而ChatGPT的优势主要来自其Data Analyst插件，该插件可以获取Excel文件以生成用户想要的任何图形。它甚至支持多种可视化类型，用户可以通过提示来修改图形的设计，包括颜色、轴和标签。
9 编写安全意识培训的课件
结果：Gemini幽默风趣，ChatGPT严谨规范
这两种工具都可以帮助编写安全意识培训的课件。本次测试以生成开展安全意识活动的电子邮件为例。研究人员给了两种工具以下提示：“生成一封用于开展安全意识培训的电子邮件。措辞幽默风趣，提醒大家不要随意点击陌生人发来的邮件。”
测试结果显示，这两种工具都表现不赖。Gemini生成的电子邮件更简短，而且阅读起来感受更幽默风趣。ChatGPT也同样能生成得当的措辞和规范的邮件，但它对于开展安全意识活动而言，内容的生动性稍差，显得更加严谨规范。
10 解读网络安全合规框架
结果：Gemini的解读能力更强
如果用户想快速了解如何实施一套网络安全合规框架，这两种工具都能够给予有效的帮助。这一点在企业的网络安全运营工作中非常有用。
在本次测试中，研究人员为每个工具给出以下输入提示：“请解释PCI-DSS方面的‘重大变化’这一概念。通常什么才是重大变化？同时列出这项标准的确切要求。”
测试结果显示，Gemini的解读能力更胜一筹，它正确地列出了标准的确切要求（比如6.4.5和6.4.6），并且还解释了某方面是重大变化的原因。而ChatGPT并没有提到这些信息在标准中的具体位置。
结语
通过以上十项安全运营用例的实际测试结果分析，我们可以看出，ChatGPT和Gemini这两种AI大模型工具都有助于安全运营团队提高工作效率，帮助安全运营专业人员处理繁琐的日常事务性工作。尽管从对比数据看，Gemini在部分测试项目中的表现更出色，但是在安全指标分析、IDOR漏洞代码分析等测试中，也存在很多不足之处。因此，企业组织在应用选型时，还需视组织的具体应用需求而定。
需要特别指出的是，AI大语言模型在网络安全运营领域的应用才刚刚开始，还会有更多基于大语言模型的AI安全平台问世，企业安全团队应该积极地通过AI技术增强持续学习能力，从而更好地预防和响应安全事件，在攻击得手之前进行遏制。
参考链接：
如有侵权请联系:admin#unsafe.sh