基本信息 原文标题：BlueCodeAgent: A BLUE TEAMING AGENT ENABLED BY AUTOMATED RED TEAMING FOR CODEGEN AI
原文作者：Chengquan Guo, Yuzhou Nie, Chulin Xie, Zinan Lin, Wenbo Guo, Bo Li
作者单位：University of Chicago; UC Santa Barbara; University of Illinois Urbana-Champaign; Microsoft Research; VirtueAI
关键词：大语言模型（LLM）；代码生成；安全性；红队测试；蓝队防御；自动化智能体
原文链接：https://arxiv.org/pdf/2510.18131
开源代码：暂无

论文要点 论文简介：随着大语言模型（LLMs）在自动化代码生成领域的广泛应用，由其带来的安全风险也愈发凸显。早期相关研究大多聚焦于红队测试，即识别和揭示代码生成模型的潜在安全漏洞或有害输出。然而，在蓝队防御方向的进展却相对滞后，尚未形成系统有效的方法。这主要由于有效防御机制需要具备对"安全"与"不安全"情形的深刻语义理解。为弥补该领域空白，作者提出了一种以自动化红队为驱动的端到端蓝队智能体框架——BlueCodeAgent。
该方法通过整合红队生成的多样化高风险实例，将其转化为可操作的安全"宪法"（constitutions）规则，并结合代码分析与动态测试，实现对已知与未知风险的深度检测与多层次防御。BlueCodeAgent在偏见指令识别、恶意指令检测与代码漏洞发现三大典型任务上，全方位优于传统模型和基于提示词的安全防护机制。
特别是在代码漏洞检测场景下，BlueCodeAgent通过集成动态测试，有效降低了误报（false positives）率，提高了实际应用的可靠性。实证结果显示，BlueCodeAgent在四个数据集、三类任务的F1分数平均提升12.7%，证实了系统性红队知识整合对大模型蓝队防御能力的显著增强。

研究目的：当前，随着LLMs在代码自动化生成中的快速扩展，其被滥用于生成恶意代码、输出带有偏见或漏洞的代码等安全隐患日益突出。纵然红队向已成为揭示模型脆弱性、补全漏洞检测基准的重要手段，蓝队防御领域仍面临三方面核心难题：（1）模型对抽象安全概念理解力不足，安全性提示词难以引导其遵循实际可操作的原则；（2）模型在漏洞检测中普遍表现出过度保守，常将安全代码误判为不安全，影响开发者信任；（3）现有方案风险覆盖面有限，遇到新型或微妙风险时性能大幅衰减。
本文旨在解决：如何对大模型代码生成任务进行更系统的防御增强，即借助高质量、规模化的红队知识自动萃取和"宪法"规则归纳，赋能蓝队智能体实现在已知与未知高风险情景下的高效检测与精确防护。进一步，如何通过动态代码测试，提高对安全与风险的精准区分，减少误报与漏报，提升实际应用价值。

研究贡献：

• 多样化红队流程设计：论文提出一条集成多策略的自动化红队测试管道，系统生成多样红队样本，极大丰富了安全风险知识基础。
• 知识增强型蓝队智能体：以大规模红队实例知识为支撑，构建了BlueCodeAgent，显著提升了蓝队模型对风险检测的准确性与泛化能力。
• 原则级防御与细粒度分析结合：创新性提出"宪法级"原则防守（基于红队总结规则）和"细粒度动态分析"（代码执行动态验证）双重防御模式，二者在代码漏洞检测场景中相辅相成。
• 泛化至新型与未知风险：全面红队知识赋能下，BlueCodeAgent不仅能应对已知风险类型，对未见风险类别同样具备良好检测和防御能力，是首个验证系统红队可高效反哺蓝队的代码大模型安全工作。

引言 大语言模型在软件工程自动化，尤其是代码生成任务中，展现出前所未有的智能与生产力，极大地助力了开发效率。然而，这一变革性技术也带来了极高的安全隐患。具体来说，代码生成模型在处理不良输入请求时，可能无意中合成带有安全缺陷的代码片段，包括恶意利用漏洞的代码、含有偏见或歧视逻辑的代码，甚至在用户未察觉时生成易受攻击的实现细节。这些风险行为不仅威胁模型本身的可信性，也损害了整个软件生态系统的安全基石。
早期学界大量研究集中于"红队测试"，即用有意攻击性或风险性强的指令主动"攻破"模型，检测其拒绝不当请求、识别不安全输出的能力。目前已有众多基准（如REDCODE、RMCBENCH等）和方法框架，对模型的安全性进行了大规模系统评测，为业界、学界及模型开发者提供了丰富的失败案例与风险数据。通过这些红队手法，学者们揭示了代码生成模型在抽象安全概念理解、细粒度风险辨识上的不足，并为后续防御研究打下了基础。
然而，相比活跃的红队方向，蓝队防御方法的发展明显落后。一方面，现有蓝队机制如安全性提示等往往流于表面，缺少实际可操作和足够细致的原则标准，导致模型难以实现从语义到安全行为的精准对齐。另一方面，在代码漏洞检测这一实际工程应用中，与传统静态检测工具不同，现有大模型普遍存在过度保守、误报率高（即将安全代码误判为风险代码）的难题。这直接影响了开发者的使用信心，也暴露出现有安全性监督策略在应对复杂多样风险时的局限。
近年有研究尝试引入知识增强机制，如通过检索式知识召回、红队数据直接训练等手段提升模型的风险理解与防御泛化能力。但手动编制大规模安全规则、对比典型案例仍然极为繁琐。因此，能否将自动化红队流程作为高质量知识源，以此自动总结实践性强的"安全宪法"、动态扩展内容，成为该领域亟需突破的核心难题。
基于上述分析，本文提出整合自动化红队管道生成的多样性高风险知识，通过智能体动态召回、规则总结和动态执行双层机制，建设一个通用、高效、鲁棒的蓝队智能体BlueCodeAgent，实现对偏见指令、恶意代码任务、漏洞代码的端到端深度检测和防御，为代码生成AI安全提供了一条系统性解决新老风险的蓝队路径。

相关工作 在代码生成AI的安全研究中，红队和蓝队分别扮演着主动进攻与被动防守的角色。针对红队技术的研究，学界已建立起较为成熟的评测基准与攻击手法。例如，REDCODE和RMCBENCH等数据集广泛用于评估模型在接收恶意输入时的安全响应；相关文献聚焦于偏见代码检测、恶意代码生成、以及基于常见漏洞枚举（CWE）的代码安全评估。此外，针对模型脆弱性及拒绝危险请求的能力，不同工作提出了多样化的对抗输入、黑盒攻击与特定类别的风险评测手段。总体来看，红队相关工作极大丰富了模型失效模式的案例库与风险类别，但大多数研究仅聚焦于发现问题与脆弱性暴露，而对如何将这些"风险知识"回流用于防御提升涉猎较少。
蓝队方向的发展相对薄弱。现有顶级"守卫模型"在网络与代码安全场景下表现有限，不仅难以可靠识别高危指令，还经常对真实世界代码的安全性作出错误判断。一项典型发现是，当前大模型在代码漏洞检测场景中容易过于保守，导致许多已修复的安全代码被误判为风险代码，从而引发高假阳性率。为了解决此类局限，个别工作开始尝试引入运行时验证（如动态测试），以辅助静态代码分析降低误报，同时试图将现有知识库（如CVE漏洞数据库）或红队生成样本作为检索增强的知识源。比如，Vul-RAG利用检索式生成方法初步验证了外部知识补充的可行性，PurpCode则关注于大规模生成高覆盖的红队案例样本以驱动蓝队提升。与这些前作相比，BlueCodeAgent以智能体框架为核心，通过动态知识召回、宪法规则总结与运行时测试的有机结合，进一步实现了已知风险与未知类别场景下的全面鲁棒防御。

BlueCodeAgent方法框架与核心流程 BlueCodeAgent体系架构主要由三大模块构成：红队自动化生成与知识积累、知识增强蓝队智能体，以及动态代码分析模块。首先，整体流程以"红队自动化数据驱动"为核心，针对不同类别风险任务（偏见指令、恶意代码、漏洞代码）设计对应的红队实例生成策略，包括基于政策的红队样本构造、种子推动的攻防提示优化，以及依赖常见漏洞知识的安全/不安全代码对生成。多维度、多尺度的红队数据不仅极大丰富了知识样本，还为后续蓝队智能体提供了包含更多场景与类别的风险案例。

在蓝队智能体部分，方法通过对测试输入与知识库（由红队数据组成）之间的语义搜索，动态检索并选取最相关的高风险案例。随后，借助先进的大模型（如GPT-4o）对所选红队知识进行高阶摘要，自动总结成可操作、具备实践指导意义的"宪法"规则。这些规则为蓝队智能体针对新输入实例的安全判断提供了透明、可执行的防御依据。比如，在偏见指令检测中，"宪法"可包括拒绝基于非绩效造成差别对待的原则等；在代码漏洞检测场景，则可细化为权限校验、输入保护等具体规则。
核心流程主要包含以下步骤：（1）自动化红队生成多样风险知识；（2）测试输入与知识库匹配，选出K个最相关实例；（3）由大模型自动抽取高层安全宪法；（4）针对文本任务（如指令检测），利用宪法规则直接判断并生成响应；针对代码任务，则结合规则与静态/动态分析，得出最终安全判断并输出详细解释。如此一来，BlueCodeAgent既能覆盖传统基于提示词防护的不足，又能超越单纯经验写规则的受限场景，实现端到端自动化、安全性强、可解释的蓝队机制。

红队知识获取与蓝队增强机制 BlueCodeAgent在红队知识积累方面采用了极具创新性的多模态、多策略生成流程，针对不同任务类别分别设计了适配的攻击样本生成方式。首先，对于偏见指令检测，通过政策驱动，从多样化的群体属性和应用场景出发，系统组合并枚举政策文本，输入至无监管（uncensored）大模型，引导其生成专门违反公平性政策的高风险提示，从而覆盖更广泛的偏见类型。针对恶意代码任务，则引入基于种子的自适应红队优化代理，通过集成如GCG、AutoDAN等业界领先的jailbreak工具集，不断迭代提示、优化攻击成功率，获得可实际绕过模型防护的复杂攻击指令，逼近真实世界的对抗样本。对于代码漏洞检测环节，方法基于CWE等通用软弱点知识，结合具体编程场景，驱动强大模型如GPT-4o生成安全/不安全代码对，累计多类别漏洞实例，为蓝队智能体构建极具代表性的知识案例。
上述丰富的红队数据被分为两类用途：部分作为知识库（BlueCodeKnow），直接用于测试实例的知识增强检索、规则总结；另一部分则作为测试集（BlueCodeEval），用于系统评估模型在已知/未知风险上的泛化能力。整个知识流转机制体现为"自动化红队→知识累积→相关知识检索→模型总结宪法→蓝队防御优化"，将隐式经验与真实风险案例有效沉淀为结构化、高可用的知识体系。
在蓝队增强端，BlueCodeAgent针对偏见与恶意指令类文本任务，采用"规则级"响应范式，即通过宪法驱动模型给出接纳/拒绝决策与精确解释。针对漏洞代码检测，系统独创性地将静态分析与动态测试相结合：静态阶段利用宪法归纳结果识别潜在风险，动态阶段则在沙盒Docker环境下实际执行相关测试，基于运行结果二次判定，提高了对误报/漏报的辨识力。实验证明，规律化的宪法规则提升了模型对不见风险的泛化能力，而动态分析显著降低了误报率，两者结合实现了大模型代码蓝队防御的实用化和精细化。

实验设计、结果与分析 实验部分旨在验证BlueCodeAgent在多个风险类别任务中，相较基线模型和现有防护手段的全方位优势。评测覆盖三类核心任务：偏见指令检测、恶意指令检测及代码漏洞检测，分别选用由红队自动生成与真实工程数据组成的BlueCodeEval评测集和SecCodePLT等公开数据集。基线涵盖直接模型测试、通用（general）及细粒度提示词（fine-grained safety reminder）、当前最新方法（如PurpCode、Vul-RAG）以及LLM集成投票机制。

在偏见与恶意指令检测任务上，BlueCodeAgent无论基于Llama、Qwen还是GPT-4o等主流大模型，均取得大幅度F1分数提升，相较最优基线（多轮安全提示、PurpCode等）分别高出29%、11%、9%左右。尤其值得指出的是，BlueCodeAgent凭借红队知识增强和宪法规则，在已知风险类别测试与完全未见新类别测试中均表现出强大鲁棒性和泛化能力。与之相比，单靠提示词增补的防护方式效果有限，往往无法正确识别未见场景下的高危输入。

在代码漏洞检测环节，BlueCodeAgent集成静态宪法和动态分析双重机制，获得了显著的性能提升。实验显示，宪法增强提升了模型对高风险样本的敏感度，有效增加真实高危代码的检出率，而动态测试显著降低了对安全代码的误判率，实现了真正的"少漏报、低误报"平衡。例如，基于Claude模型的BlueCodeAgent通过集成动态测试，F1分达到0.77，远高于直接模型和投票集成的F1（分别为0.75、0.76），同类方法PurpCode、Vul-RAG等则整体略低。

消融分析进一步揭示，BlueCodeAgent在见过风险类别的知识支持下，蓝队性能提升更为显著，在未见类别场景也保持稳健优势。此外，不同风险类别对知识类型的敏感度存在一定差异，部分类别（如Workclass相关偏见）对知识结构和内容较为依赖，体现出当前知识增强型防御系统在精细化匹配和归因上的演化潜力。

最后，论文分析了"宪法规则总结"与"动态代码测试"的互补关系，前者主要提升查全率（TP增多，FN减少），后者着力降低误报（FP减少）。二者结合，真正实现了大模型安全防护的全面和立体升级。

论文结论 本文通过系统性研究和创新性方法实现了代码生成大模型（CodeGen LLMs）领域安全防护方向上的重要突破。BlueCodeAgent首次证明，全面、自动化的红队知识能以"宪法"规则和多层次分析模式有效反哺蓝队，显著提升模型的风险辨识、泛化与实用能力。红队数据驱动下的知识归纳机制，为"未知风险"检测和应对新型对抗场景奠定了坚实基础，而动态分析则