枪支权利倡导者和广播节目主持人马克·沃尔特斯 (Mark Walters) 已在美国佐治亚州格威内特县的州法院对 OpenAI 提起诉讼，寻求一般赔偿和惩罚性赔偿以及其他救济。

马克·沃尔特斯说一名记者里尔（Riehl）与 ChatGPT 进行了互动，了解由第二修正案基金会（SAF）提交的一起案件情况。ChatGPT 回复称，此案是由第二修正案基金会的创始人针对马克·沃尔特斯斯提起的，指控他在担任该组织的财务主管和首席财务官期间从基金会骗取资金，然后操纵银行报表并省略适当的财务信息向该集团的领导者披露，以掩盖他的偷窃行为。

马克·沃尔特斯在诉讼中澄清说，自己在任何时候都没有与该基金会有联系或受雇于该基金会。科技出版物 Ars Technica 报道说，马克·沃尔特斯对枪支权利和第二修正案基金会的评论可能导致 ChatGPT “错误地连接”。

当记者问及有关马克·沃尔特斯的投诉片段时，聊天机器人提供了更多与实际投诉毫无相似之处的幻觉细节，例如，“马克·沃尔特斯至少自从2012 年以来在 SAF 担任财务主管和首席财务官 。”

本案的争议事实突显了AI聊天机器人用户的潜在危险。生成人工智能(AI)系统具有模仿个人的能力，导致高级虚假信息和欺诈活动的扩散。

据报道，这不是人工智能程序首次给用户提供虚假信息。今年4月，如果OpenAI公司没有解决ChatGPT涉嫌贿赂丑闻的不准确指控，澳大利亚一名市长公开考虑起诉OpenAI。大约在同一时间，乔治·华盛顿大学(The George Washington University)的一名法学教授发表了一篇专栏文章，描述该校如何错误地指控他性骚扰学生。就在上周，纽约的一名人身伤害律师被迫解释自己的行为，此前他错误地依赖ChatGPT进行法律研究，并简要地引用了完全不存在的案例法。 

2、隐私与安全

对个人数据进行训练的模型可以产生高度现实和可识别的信息，从而造成隐私和安全风险。这种关注超越了个人隐私和安全领域，包括更广泛的考虑。2023年4月，三星禁止员工使用ChatGPT，因为担心上传的内部敏感代码可能会提供给其他用户。

3、偏见和歧视

生成人工智能系统可以反映其培训数据中存在的偏见，巩固歧视性叙述。专家们提出的突出问题之一是提高人工智能系统的透明度的重要性。然而，全面了解如何训练生成型人工智能(AI)系统可能是一个无法实现的目标。复杂的培训算法、专有考虑、大规模数据要求、迭代过程、以及研究和开发不断变化的性质的组合构成了挑战，可能限制透明度，并使得难以充分理解训练过程的复杂性。

在中国，人工智能系统必须“尊重社会美德和良好的公共习惯”。因此，《人工智能服务措施草案》第4条第2款规定，必须采取措施，防止基于"种族、族裔、宗教信仰、国籍、地区、性别、年龄或职业"的歧视。这必须在人工智能(AI)系统的整个寿命期间发生，包括在算法设计、选择训练数据、模型生成和优化以及服务提供的阶段。

4、知识产权侵权

生成式人工智能（AI）系统提出了关于知识产权以及生成版权作品的含义的问题。

在中国，《生成式人工智能服务措施草案》第4条第3款规定，生成式人工智能系统必须“尊重知识产权和商业道德”。因此，第7条第2款禁止使用侵犯知识产权的数据作为生成式人工智能系统的训练前或优化材料。在美国，拟议的人工智能（AI）风险管理框架规定，受版权保护的培训数据应符合相关的知识产权法律。

同时，《欧盟人工智能(AI)法草案》第28b(4)(c)条规定，生成性人工智能(AI)系统的提供者有义务公开披露受版权法保护的所使用的培训数据。这项透明度规定优于全面禁止使用受版权保护的材料作为培训数据的规定。 

5、被用于违法犯罪

违法犯罪分子利用人工智能（AI）快速生成虚假音频、视频、图像和诈骗短信、邮件等内容，加剧了我们所面临的问题，使我们随时都可能遭到垃圾邮件、诈骗短信、恶意和犯罪电话以及各种欺诈和欺骗方式的轰炸。这些诈骗内容可以针对所有人进行订制化生成，即使是受过高等教育和技术熟练的人也都可能被欺骗。

2023年5月，骗子通过智能AI换脸技术，佯装成好友诈骗了郭某430万元。除了快速AI换脸，用AI手段合成或克隆声音也越来越常见。只需要提供某人一段10分钟至30分钟的声音素材，要求没有杂音，就能用2天左右时间生成一个专属模型，后续输入任何文字，发出的都是这个人的声音。如果有人蓄意生成你的长相搭配你的声音的视频，仅需花费数十元。

另外一些违法犯罪分子利用AI快速生成可用于网络攻击、信息窃取的软件代码，大大提高了其攻击和窃取信息的能力。

6、舆论操控

除了上述犯罪活动外，新型AI的功能还被用于恐怖主义、政治宣传和虚假信息领域。

AI 生成的内容（例如 deepfakes）助长了虚假信息的传播和舆论的操纵。努力检测和打击 AI 生成的错误信息对于维护数字时代信息的完整性至关重要。

深度造假渗透到政治和社会领域，在线媒体和新闻变得更加模糊。该技术可以很容易地用图片或视频中的一个人物形象替换另一个人物形象。结果，不良行为者有了另一条传播错误信息和战争宣传的途径，造成几乎无法区分可信新闻和错误新闻的噩梦场景。 

“没有人知道什么是真实的，什么不是。这真的会导致你无法相信自己的眼睛和耳朵的情况；你不能依赖什么，从历史上看，我们认为眼见为实是最好的证据……但现在这将是一个大问题。”

7、意外事故

2018 年，拼车公司 Uber 使用的自动驾驶汽车在一次驾驶事故中撞死了一名行人。过度依赖 AI 可能会导致机器故障，从而造成伤害。医疗保健中使用的模型可能会导致误诊。 

如果不加以仔细监管，人工智能还可以通过其他非物理方式伤害人类。比如开发出对人类构成威胁和伤害的药品、疫苗或者病毒。

8、军事应用风险

一名官员表示，在美国军方进行的虚拟测试中，一架由人工智能控制的空军无人机决定“杀死”其操作员，以防止其干扰其完成任务的努力。

据《卫报》报道，今年5月在伦敦举行的未来空战能力峰会上，美国空军负责人工智能测试和作战的塔克·辛科·汉密尔顿上校表示，人工智能在模拟测试中使用了“非常出人意料的策略来实现目标”。

汉密尔顿描述了一个模拟测试，在这个测试中，一架由人工智能驱动的无人机被建议摧毁敌人的防空系统，并最终攻击任何干扰该命令的人。“系统开始意识到，虽然他们确实识别了威胁，但有时人类操作员会告诉它暂时不要消除威胁，但它把消除威胁做为优先事项，可以加分。”那么它做了什么呢?它杀死了操作员。它杀死了操作员，因为那个人阻碍了它实现目标，”他补充道。“我们对系统进行了训练——‘嘿，不要杀死操作员——这很糟糕。如果你那样做，你会被扣分的。”那么它开始做什么呢?它开始摧毁操作员用来与无人机通信阻止它杀死目标的通信塔。”他继续说道。

虽然，后来空军发言人否认进行了类似测试。但汉密尔顿表示:“人工智能不是一件好事，也不是一种时尚，人工智能将永远改变我们的社会和军队。”“我们必须面对一个人工智能已经存在并改变我们社会的世界，”他继续说道，“人工智能也非常脆弱，也就是说，它很容易被欺骗和操纵。我们需要开发使人工智能更健壮的方法，并对软件代码为什么要做出某些决定有更多的认识——我们称之为人工智能的可解释性。”