多年来，"人工监督"（human-in-the-loop）一直是人工智能治理的默认保障机制。这个概念听起来审慎、可靠且为人熟知。但如今，这一模式已不再适用。

我们已进入AI自主决策时代，AI系统在欺诈检测、金融交易、个性化推荐、物流管理、网络安全和自主Agent工作流等领域每秒做出数百万次决策。在这种规模和速度下，人类逐项监督AI决策的想法已不切实际，沦为一种自我安慰的幻想。

专家警告称，随着生成式AI和自主Agent系统从实验阶段进入生产环境，传统人工审核模式正在崩溃。政策研究和学术报告一致指出："人工监督"往往被理想化定义，根本无法匹配AI决策的数量级和速度。

这对技术领导者意味着一个严峻现实：人类无法以机器的速度和规模有效追踪或监督AI。这引出了一个更棘手的问题："是否应该让AI来监管AI？"

人工监督存在规模瓶颈

人工监督治理模式诞生于算法仅做离散高风险决策的时代，那时人类尚有时间和上下文进行复核。而现代AI系统持续运行、永不间断——单个反欺诈模型每小时处理数百万笔交易，推荐引擎每天影响数十亿次交互，自主Agent能自主串联工具、模型和API接口，完全无需人工触发或检查点。

然而监管实践仍停留在人工、定期和事后追溯阶段。虽然AI治理框架研究建议采用人工与自动化相结合的监督方式，但鲜少说明如何实现规模化运作。

传统工程团队早已认清现实：可观测性和风险负责人将持续自动化监控视为基础能力，因为人工审核根本无法跟上模型漂移、数据污染、提示词攻击或突发行为的变化速度。没有哪位资深技术领导者会认为，每周审查或抽样审计能真正监管每秒演化数千次的系统。

AI的非确定性特质及其近乎无限的输出能力，更使这一问题雪上加霜。

人工监督已然失效

这并非未来假设，人工中心化监督已在生产环境中频频失效。当金融市场的闪电崩盘、数字广告预算失控、账户自动锁定或病毒式内容传播等系统故障发生时，级联失效往往在人类察觉前就已发生。

多数情况下，人类虽处于"监督环路"中，但环路反应过慢、过于碎片化或为时已晚。残酷的现实是：人工审核无法阻止机器速度的故障，充其量只能在事后解释损失成因。

自主Agent系统将风险指数级放大。可视化具有数十甚至数百个节点的多步Agent工作流，往往会产生人类无法解析的复杂行动轨迹。因此，人工识别风险、行为漂移或意外后果实际上已无可能。

监管研究质疑传统人工监督能否匹配机器速度与规模，转而呼吁建立与受监控系统同步的自动化监督机制。随着AI系统日趋复杂，领导者必须依靠AI自身来识别、保护和约束AI及Agent行为。

架构转型：AI监管AI

这并非要将人类移出治理体系，而是让人类与AI各司其职。现代AI风险框架日益建议将自动化监控、异常检测、漂移分析和策略执行直接嵌入AI生命周期，而非通过人工审核事后补救。

以NIST AI风险管理框架为例，其将AI风险管理描述为"治理-规划-测量-管理"的迭代生命周期，其中持续监控和自动化警报是核心要求。这推动了AI可观测性技术的兴起——利用AI系统持续监控其他AI系统，实时追踪性能退化、偏见偏移、安全异常和策略违规，并向人类上报重大风险。

这不是对AI的盲目信任，而是可见性、速度与控制力的结合。

人类作为战略制定者与系统架构师

将监控任务委托给AI并未消除人类责任，而是重新分配责任。信任危机常在此产生——批评者担心AI监管AI如同让警察自我监督。这种类比仅在监督体系自我指涉且不透明时才成立。

有效的模型应是分层的，具有明确的权力划分：

• AI系统不自我监管，治理体系保持独立
• 规则与阈值由人类定义
• 所有操作均需记录、可审查且可逆

换言之，一个AI在人类设定的约束下监督另一个AI。这正映射了内部审计、安全运维和安全工程现有的规模化运作模式。

责任并未消失，而是向上转移

人类角色从结果审核转向系统设计，专注于制定操作标准与策略、定义目标与约束条件、设计升级路径与故障模式，并在系统失效时承担最终责任。

关键在于抽象化：超越AI的速度与规模实施有效治理，从而优化决策与安全成果。没有人类就没有责任归属，没有AI就无法实现有效治理——人类设计治理工作流，AI执行与监控。

技术领导者的行动指南

对CIO、CTO、CISO和CDO而言，这是一项架构级任务：

1. 设计监督架构：建立集中式AI治理层，覆盖所有AI系统和Agent的发现、清点、日志记录、风险识别与修复、异常检测、红队测试、审计和持续监控。

2. 界定自主边界：明确设定AI独立行动、需上报人类以及系统必须自动停止的阈值。

3. 要求可审计的可见性：确保管理层能通过防篡改日志端到端检查Agent工作流、监督操作和AI触发的干预措施。

4. 投资AI原生治理工具：传统IT和GRC工具并非为Agent系统设计，需配备专门的Agent治理功能以支持多样化AI用例。

5. 提升管理层技能：领导者必须理解AI治理目标，包括可观测性和系统级风险，而非仅关注伦理或合规清单。

现实检验

幻想人类监督员能监控每个AI系统并在异常时及时干预，而现实是AI的运作规模和速度已让人类望尘莫及。唯一可持续的有效治理路径是让AI监管AI，同时人类进阶到制定标准、设计架构、设定边界和承担后果的层面。

对技术领导者而言，真正的考验在于：是否构建了覆盖企业全域的"AI监管AI"监督体系，其速度、透明度和可审计性足以匹配所部署AI系统的能力。

参考来源：

Human-in-the-loop has hit the wall. It’s time for AI to oversee AI

本文为 独立观点，未经授权禁止转载。
如需授权、对文章有疑问或需删除稿件，请联系 FreeBuf 客服小蜜蜂（微信：freebee1024）