文稿深入探讨了随着大型语言模型（LLM）与AI智能体（Agent）能力日益强大，所带来的严峻安全挑战。

报告指出了几大核心风险领域：

• 有害内容输出：模型可能被诱导生成歧视性或极端的有害言论。
• 数据与隐私泄露：系统提示（System Prompt）和个人身份信息（PII）面临泄露风险。攻击者可通过路径遍历等手段实现数据越权访问。
• 目标劫持：通过间接注入恶意指令，改变Agent的原定功能，例如让应用只推荐特定商家。
• 网络与系统攻击：模型可被用于生成恶意代码（如类似WannaCry功能的代码），或被利用触发远程代码执行。
• 资源滥用：恶意用户可通过循环调用工具等方式，大量消耗模型的计算资源，造成拒绝服务。

这些风险源于模型指令遵循、泛化、推理等能力的提升。

为应对这些挑战，报告提出了一套多层次的Agent安全设计框架。该框架以模型安全对齐为基础，通过对齐算法（SFT, RL）和数据，使LLM具备基本的安全与权限意识。在此之上，通过Agent框架层面的安全设计，如Prompt优化、角色权限管控等进行加固。最后，设置输入输出过滤作为兜底策略，拦截恶意内容。