AI安全公司 HiddenLayer 发布报告称，操纵AI模型图可在机器学习 (ML) 模型中植入无代码的可持久后门。

该技术名为 ShadowLogic，凭借操作模型架构的计算图表示，在下游应用程序中触发攻击者定义行为，可能引发AI供应链攻击。

传统后门旨在绕过安全控制，提供对系统的越权访问权限，而AI模型也可滥用于在系统上创建后门，或者被劫持生成受攻击者定义的后果，尽管该模型中的变化也可能影响这些后门。

HiddenLayer 报告提到，通过使用ShadowLogic 方法，威胁行动者们能够在ML模型中植入无代码后门，在修改后仍然存在并可用于高针对性攻击中。此前研究展示了如何通过设置特定触发器，在模型的训练阶段执行后门，激活隐藏行为。HiddenLayer 调查了如何不通过训练阶段，在神经网络的计算图中注入后门。HiddenLayer 解释称，“计算图是指神经网络在正向传播和反向传播阶段中的各种计算运算的数学表示。简言之，模型在一般操作中将遵循拓扑控制流。”

通过神经网络描述数据流，这些计算图中包含表示数据输入的节点、已执行的数学运算和学习参数。该公司提到，“和已编译可执行文件中的代码一样，我们可以为机器（本案例中是模型）指定一系列指令进行执行。”

后门将覆盖模型的逻辑结果并只有被激活 “shadow logic” 的特定输入所触发时，才会激活。而对于图片分类器，该触发器应当是图片如像素、关键字或句子的一部分。HiddenLayer 表示，“得益于多数计算图支持的操作宽度，设计基于输入的校验和进行激活的影子逻辑，或者在更高阶的情况下将整个分开的模型嵌入已有模型作为触发器也是可能发生的。”

HiddenLayer 分析了获取和处理图片的步骤后，创建了针对 ResNet 图片分类模型的影子逻辑，即YOLO (You Only Look Once) 实时对象检测系统和 Phi-3 Mini 小型语言模型进行概括和聊天机器人。

被插入后门的模型将正常运行，并提供与正常模型相同的表现。然而，当收到包含触发器的图片时，它们将作出不同行为，输出等同于二分类的“真”或“假”，从而未能检测人员并生成受控制的令牌。

HiddenLayer 提到，如ShadowLogic 的后门会引入新的模型漏洞类型，它们不要求代码执行利用，因为这些新的漏洞类型嵌入到该模型的结构中且更难以被检测到。另外，它们的格式不可知，可能会被注入任何支持基于图的架构模型中，不管该模型的训练领域是什么，如是否为自动导航、网络安全、金融预测还是医疗诊断。

HiddenLayer 公司提到，“不管是对象检测、自然语言处理、欺诈检测还是网络安全模型，它们都不是免疫的，即攻击者可以针对任何AI系统，包括简单的二分类器、复杂的多模型系统如高阶LLMs等，大大扩展了潜在受害者的范围。”

奇安信代码卫士 (codesafe)

国内首个专注于软件开发安全的产品线。

    觉得不错，就点个 “在看” 或 "赞” 吧~