导语：攻击者可以利用一种常见的AI现象：错误建议，通过使用ChatGPT构建软件的开发人员来传播恶意代码。
研究人员近日发现，攻击者可以利用ChatGPT往往返回虚假信息的习性来传播恶意代码包。
这对软件供应链构成了重大风险，因为它可能允许恶意代码和特洛伊木马溜入到合法的应用程序和代码仓库中，比如npm、PyPI和GitHub 等。
Vulcan Cyber公司oyager18研究团队的研究人员在近日发布的一篇博文中披露，通过利用所谓的“AI 代码包幻觉”，威胁分子就可以创建ChatGPT建议的恶意代码包，而开发人员在使用这种聊天机器人时可能会无意中下载这些代码包，从而将它们引入到随后被广泛使用的软件中。
在人工智能领域，幻觉是人工智能做出的一种貌似合理的响应，而实际上不充分、有偏误或完全不正确。之所以会出现幻觉，是由于ChatGPT（以及作为生成式AI平台基础的其他大型语言模型即LLM）基于它们在庞大互联网上能找到的资源、链接、博客和统计数据，来回答向它们提出的问题，但这些内容并不总是最可靠的训练数据。
Voyager18的首席研究人员Bar Lanyado在博文中写道，由于这种广泛的训练和接触大量文本数据，ChatGPT之类的LLM会生成“看似合理但实则虚假的信息，可能生成看似合理但不一定准确的响应，这是一种以前就已观察到的现象，似乎归因于大型语言模型的工作方式。”
他在博文中解释，在开发者领域，AI 还会针对CVE生成有问题的修复程序，并提供指向不存在的编程库的链接，而后者为不法分子提供了可趁之机。在这种攻击场景中，攻击者可能会向ChatGPT寻求常见任务方面的编程帮助，ChatGPT 可能会为未发布或不存在的软件包提供建议。研究人员表示，攻击者随后可以发布他们自己的建议软件包的恶意版本，等待 ChatGPT 为合法开发人员提供相同的建议。
如何利用AI幻觉？
为了证明其概念，研究人员使用ChatGPT 3.5创建了一个场景，其中攻击者向平台询问如何解决一个编程问题，ChatGPT给出了多个软件包作为响应，其中一些软件包不存在，即合法的软件包代码库中并未发布。
当攻击者找到建议的未发布软件包时，他们可以发布自己的恶意软件包取而代之。下次用户提出类似的问题时，他们可能会收到来自ChatGPT的建议，使用现已存在的这个恶意软件包。
如果 ChatGPT在伪造代码包，攻击者可以利用这种幻觉来传播恶意代码，而无需使用误植域名或伪装之类的熟悉技术，从而创建开发人员可能会在ChatGPT建议的情况下使用所谓的“真实”代码包。这样一来，该恶意代码可以伺机进入到合法的应用程序或合法代码仓库中，从而给软件供应链构成重大风险。
Lanyado表示，如果开发人员在编写代码时向ChatGPT这样的生成式AI寻求帮助，可能最终会安装恶意库，因为AI认为该恶意库是真实的，攻击者可以让它显得很真实。狡猾的攻击者甚至可以制作一个切实可行的库，作为某种特洛伊木马，最终可能被未意识到是恶意代码的多个人所使用。
如何发觉不良代码库？
如果威胁分子有效地混淆了其编写的代码，或者使用另外的技术（比如制作一个切实可行的特洛伊木马程序包），就很难判断代码包是不是恶意的。然而，一些方法可以及早发现不良代码，以免被嵌入到应用程序中或发布到代码仓库上。
为此，开发人员需要验证他们下载的库，并确保库不仅执行它们声称所能执行的功能，还不是伪装成合法代码包的狡猾的特洛伊木马。当建议来自AI而不是来自同事或社区中值得信任的人时，这一点尤为重要。
开发人员可以通过多种方式做到这一点，比如检查创建日期；查看下载和评论的数量，或者是否没有评论和星；查看库的任何附注。如果有任何可疑之处，在安装之前请三思而后行。
ChatGPT的风险与回报
这种攻击场景只是ChatGPT 可能带来的一系列安全风险中的最新一个。该技术自去年 11 月发布以来大行其道，不仅受到用户的欢迎，还受到热衷于利用它从事网络攻击和恶意活动的威胁分子的欢迎。
仅2023年上半年，就有骗子模仿ChatGPT窃取用户业务凭据、攻击者通过恶意ChatGPT扩展来窃取Google Chrome cookie以及网络钓鱼威胁分子使用ChatGPT作为恶意网站的诱饵。
虽然一些专家认为ChatGPT的安全风险可能被夸大了，但风险确实存在，因为人们一下子欣然接受生成式AI平台来支持其专业工作，并减轻日常工作量的负担。
Lanyado在博文中写道，除非你过着与世隔绝的生活，否则会充分感受到生成式AI热潮，数以百万计的人在工作中积极采用ChatGPT。
开发人员也无法抵御ChatGPT的魅力，他们由向Stack Overflow等在线资源寻求编程解决方案，转而向AI平台寻求答案，这给攻击者创造了大好机会。
正如历史所证明，任何能够迅速吸引坚定用户群的新技术同样会迅速吸引旨在利用它为自己谋取机会的不法分子。
本文翻译自：https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks如若转载，请注明原文地址
