【作者】Welton Chang 是约翰霍普金斯大学应用物理实验室的定量心理学家和高级专业人员。他在应用物理实验室的工作为国防部和情报界的各种服务商提供了一系列技术主题，包括在线社会影响、地缘政治/科学和技术预测、数据分析以及建模和模拟。他的其他研究侧重于帮助人们做出更好的决策和更高质量的情报分析，主要是通过培训干预、问责制和改进推理。2005-2014 年，他担任国防部分析员和美国陆军军官。他的海外经历包括在伊拉克的 21 个月和在韩国的一年。他是约翰斯隆迪基国际理解中心的董事会成员。

【摘要】

结构化分析技术(SATs)旨在通过检查两个典型的误差来源:系统偏差和随机噪声来改进情报分析。虽然这两个目标都是可以实现的，但没有人知道这一代结构化分析技术距离实现其中任何一个目标还有多远。

作者发现了两个根本问题:

(1)结构化分析技术将双极偏差视为单极偏差。因此，缺乏衡量可能过度的指标——也无法知道专注于抑制一种偏见(如过度自信)的结构化分析技术何时会引发相反的偏见(如缺乏自信);

(2)结构化分析技术默认问题分解(例如，将推理分解成与假设和证据相对应的矩阵行和列)是减少评估中噪声的一种合理方法。但是从来没有人真正测试过分解是增加还是减少分析过程中的噪声——我们有充分的理由怀疑，总的来说，分解会降低分析判断的可靠性。

最主要的缺点是，结构化分析技术没有受到持续的科学研究的影响，而这些科学研究可以揭示它们在什么时候有助于或损害向政策共同体提供准确的世界评估的事业。

简介:什么是结构化分析技术(SATs)?

结构化分析技术是“一种机制，通过这种机制，内部思维过程以一种系统和透明的方式外化，以便他们可以被共享，建立，并容易被他人批评。”结构化分析的目的是通过减少分析人员常见的认知偏见来提高情报分析的质量。

结构化分析技术是美国情报分析训练项目的核心特征。最早的结构化分析技术可以追溯到20世纪70年代，当时理查兹·霍伊尔向中央情报局情报官员杰克·戴维斯介绍了这个概念。豪伊尔和戴维斯开始开发这些方法中的第一种，他们称之为“替代分析”。这个术语被调整为“结构化分析技术”，并在CIA的分析师培训项目中提到。9·11后的国会改革，即2004年的《情报改革与恐怖主义预防法案》(IRTPA)确认了他们在情报界的核心地位。《情报改革与恐怖主义预防法案》授权使用结构化分析技术作为更广泛的情报界改革的一部分，以应对9·11和伊拉克大规模杀伤性武器(WMD)计划的误判。这些技术也在国防情报局的专业分析师职业教育(PACE)项目和其他情报技术培训课程中教授(侧重于个人或小团队使用的技术，而不是预测市场、众包和战争演习)。

沃伦·菲什拜因和国家情报局前主席格雷格·特雷弗顿，对结构化分析技术的目的描述如下:

“…帮助分析师和政策制定者通过结构化的技术扩展他们的思维，挑战潜在的假设，拓宽考虑的可能结果的范围。如果运用得当，它可以作为一种对冲工具，防止分析师像所有人一样的自然倾向——通过先入之见的镜头有选择地感知信息，过于狭隘地寻找能证实而不是怀疑现有假设的事实，以及不恰当地受到身边分析小组过早达成的共识的影响。”

结构化分析技术的核心是一系列将分析思维外化、组织和评估的过程。结构化分析技术的范围从简单的(例如，结构化的头脑风暴)到复杂的(例如，情景生成)；从纯文本方法(例如，关键假设检查)到可视化方法(例如，参数图)。整套结构化分析技术方案提供了丰富的认知增强器，分析人员可以从中选择最适合手头问题的一种。《中情局谍报技术入门》确定了12种结构化分析技术，按其主要分析目的分为三类:培养性诊断性思维、逆向思维或丰富的想象力。诊断性思维 "旨在使分析论点、假设或情报差距更加透明"。它们通常被用来评估假设，评估现有证据如何支持或驳斥假设，并帮助分析师根据现有信息评估新的证据。逆向思维或“挑战分析”技术用于探索现有的分析和结论，特别是评估现状的稳定性，以及测试共识观点的可靠性。这些结构化分析技术的共同目标是“挑战既定的思维模式或分析共识，以扩大被认真考虑的可能解释或估计的范围。”最后，想象力思维技术的目的是“发展新的见解，不同的观点和/或开发替代性的结果。”

下面的章节将深入探讨结构化分析技术相对于非辅助分析所宣称的好处。然后详细地描述了结构化分析技术在概念和设计上的缺陷，这些缺陷使声称的好处难以置信。最后，提出了建议，通过更好地整合科学发现来改进结构化分析技术的开发、测试和评估。正如一些情报学者所认识到的那样，举证责任应该落在那些敦促情报机构将资源投入结构化分析技术或任何其他认知增强干预的人身上。

为什么结构化分析技术被用于情报？

结构化分析技术在情报分析中被用于帮助分析人员:

(a)通过减轻认知偏见，产生更客观可信的判断;

(b)应对信息过载;

(c)使他们的思维过程对自己和决策者都更加严格、一致和透明，作为一种问责机制。

结构化分析技术应该在严格但在技术上令人生畏的方法(如贝叶斯网络)和不受约束的直觉之间找到一个可行的中间地带。结构化分析技术的目的无可非议。下面我们概述号称福利的三种类别。

主张1:结构化分析技术通过降低偏见来提高判断质量

支持者声称，结构化分析技术“降低了”情报评估和估计的“出错频率和严重程度”。在正确的情况下，无偏见的推理可以产生更准确的判断一些人把这种说法建立在结构化分析技术的表面有效性上。例如，Heuer认为，“如果一种结构化的分析技术是专门设计来减轻或避免人类思维过程中已被证实的问题之一，并且如果这种技术似乎在这方面取得了成功，那么这种技术可以说具有表面有效性(强调添加)。”表1列出了《中情局谍报技术入门》中的12种结构化分析技术及其假定的目标偏见“维持现状的偏见”和“确认偏见”是结构化分析技术试图缓解的两种最常见的偏见。

表1.结构化分析技术针对的是认知偏见

当分析师在评估中过于强调“不变”假设时，就会出现现状偏见(12个核心结构化分析技术中有10个针对的是这种偏见)理论上，结构化分析技术可以通过鼓励分析人士考虑突然出现的意外情况的合理性，以及当前力量平衡的脆弱性，来检查维持现状的偏见。

其他的结构化分析技术是为了检查确认性偏见，这种偏见可能会影响分析员的工作，因为他们会把注意力限制在一个受欢迎的假设上，以支持现有信念的方式解释证据，以及不利地看待削弱信念的证据。在一项关于分析员的人种学研究中，Rob Johnston指出，情报文化促使分析员顺应社区的共识。这一发现并不限于初级分析员；恰恰相反。经验和专业知识与支持共识呈正相关。据詹姆斯-布鲁斯说，如果分析员使用了正确的结构化分析技术，国际情报局对伊拉克大规模杀伤性武器的不准确评估很可能会有所不同。"关于[伊拉克核重建]的少量可观察到的证据......不仅被过度解释，而且没有相对于任何现有的相反证据进行评估。" 布鲁斯推测，如果分析人员使用竞争假设分析，他们就会被要求考虑其他的假设，并更仔细地研究不确定的证据，这至少可以降低对被看好的假设的信心。卡尔-斯皮尔曼（Karl Spielmann）同样认为，测试许多假设可以帮助分析人员克服普遍存在的心态，确保相关信息不被忽视，例如我们的文化和对手的文化差异。例如，"故意唱反调 "试图通过鼓励不同的观点来减轻确认偏见。

主张2:结构化分析技术组织复杂证据

结构化分析技术也被认为可以帮助分析人员:

(a)组织信息;

(b)识别相关和诊断报告，从背景噪声中提取有用的信号。

Heuer和Pherson指出，结构化分析技术“将一个特定的分析问题分解为其组成部分，并[指定]处理这些部分的逐步过程。”特雷弗顿进一步指出，结构化分析技术特别适用于解决与跨国行为者(如恐怖组织)有关的情报问题，因为跨国行为者提供的历史线索有限，不容易被发现和监控，而且通常被认为行动不可预测。

主张3:结构化分析技术灌输了严谨，让分析师的思维过程变得透明，从而更有逻辑

结构化分析技术的支持者认为，通过系统地构建分析，情报界同时提高了分析的准确性和客观性，同时承认分析师必须对高标准的推理负责。结构化分析技术旨在通过分解问题和外部化他们的思维过程来推动分析人员进行彻底和严格的思考，从而纠正推理错误。豪雅还指出，将自己的观点暴露于审查之下，有助于提高透明度，“有助于确保分析师之间的不同意见在分析过程的早期得到倾听和认真考虑。”

因此，结构化分析技术使我们更容易看到其他人是如何得出不同的判断的。如果分析员的观点有冲突，他们可以回溯他们的思维过程，看看他们在哪里以及为什么在评估中出现分歧。这可以激发对证据的不同解释或对来源真实性的不同看法的讨论。而且，它可以让一些人忽视的信息曝光，适当汇集以前的私人信息。重要的是，透明度使其他分析家能够识别错误的思维，无论它是源于搜索不足还是对发现的证据的错误解释。透明度还可以提高决策者对情报评估的评价。政策制定者对结果负有责任，因此他们的决定最终必须对公众来说是合理的。

结构化分析技术不太可能实现承诺的好处的两个核心原因:偏见两极和忽略噪音

遗憾的是，由于对结构化分析技术的有效性缺乏科学的研究，人们对结构化分析技术是否能改善、无影响甚至降低分析效果知之甚少。我们提出，结构化分析技术的根本问题在于没有采用最佳实践来应对两个基本的错误来源，这两个错误来源困扰着所有提高人类判断力的努力：在人们产生、测试和更新他们对世界的预感的过程中，存在系统性偏见和随机噪音。

具体来说，结构化分析技术未能解决以下问题：

(a) 认知偏见固有的两极性质，以及无处不在的风险，即善意地试图减少一种偏见，例如过度自信，将放大其相反的偏见，即信心不足。

(b) 多阶段评估中错误的累积性，即一个阶段的结论中的噪音会被反馈到下一个阶段，而通过将复杂的判断分解成一系列更简单的判断来减少噪音的善意努力会使这些判断更不一致，而不是更一致，这种疏忽我们称之为噪音忽略。

这两个问题都是由于缺乏持续的努力来对结构化分析技术的有效性进行科学的测试，以及对其过程的逻辑有效性进行仔细的检查。最终的结果是，我们很难知道结构化分析技术何时让我们避免了严重的错误，何时它们制造的问题多于解决的问题，或者何时它们只是无效。

图一、忽略噪音和偏见的双极性对判断准确性的影响

图1说明了偏见的两极性和噪声忽视的核心概念，指导我们的批评。图1的第一行描述了判断噪声的变化，这是我们击中同一目标的独立努力之间的距离的函数。假设所有的分析人员都在试图估计朝鲜最新的导弹将于何时发射——而且分析人员的工作数据完全相同。在其他条件相同的情况下，理性的情报机构会倾向于让分析师做出在目标a中所描述的预测。判断越混乱，出错的风险就越大，甚至是大错特错的风险也不能被抵消偶然的幸运随机命中。由此可见，情报界应该希望在其他条件相同的情况下，降低噪音(即，完全相同数据的分析判断中的随机变化)。

第二行描述了偏差的变化，这是一个函数，表示我们在击中同一目标时的独立努力如何系统地偏离靶心。目标C的判断显示出方向性偏差，目标D的预测显示出更明显的方向性偏差。目标C和目标D判断中的噪声量是相同的，目标a中的噪声量也是相同的。如果情报工作在一个偏见是绝对单向的、落在一个象限内的世界里，它就不必担心结构化分析技术集中于减少过度自信、现状偏见或对共识的过度遵从所带来的风险。但是，我们有充分的理由怀疑我们生活在这样一个世界里——我们担心，仅仅是对过度自信的警告，最终会导致信心不足;一心一意会地反对维持现状偏见，最终会引发对变化的过度预测;远离共识思维，最终会导致我们把时间浪费在无聊的反向论证上。结构化分析技术通常只关注双相偏见的一个极点。

第三行描述了当结构化分析技术未能对测试施加足够的压力时可能出现的问题主流偏见(目标E)或对它太用力而触发镜像偏见(目标F)。基于单极偏差模型的结构化分析技术有产生双极反弹效应的持续风险。要想接近靶心，结构化分析技术测试需要避免压力过小和压力过大的错误。帮助分析师完成这种平衡需要他们了解这种偏见的两极性质，给他们反馈他们目前对这两种错误的易感性，并鼓励他们试验证据加权策略，使他们更接近靶心，而不超过目标。

第四行集中在结构化分析技术未能认识到问题分解是一把双刃剑，可以放大或减少不可靠性时可能出现的问题，这取决于程序的解释和执行方式。目标G显示了降低测量误差的成功努力的结果(相对于目标a)，目标H显示了降低不可靠性的糟糕努力的结果(同样，相对于目标a)。

在我们看来，结构化分析技术基于对偏见本质的本体论上的深刻误解，以及对测量误差的本质和如何最好地减少它的方法论上的深刻误解。

最近，Chang和Tetlock发现了不平衡分析训练的例子，他们夸大了误差方程的一边——需要警惕过度自信和低估改变的潜力——而忽视了另一边——低估了缺乏自信的风险和夸大改变的前景认知偏见可以朝任何一个方向发展，而结构化分析技术只关注双极性偏见中的一个极点，会让分析师很容易受到镜像偏见的影响，这种影响在环境变化时变得最明显。例如，人们往往在面对较容易的任务时缺乏自信，而在面对较难的任务时过于自信同样，根据环境的不同，人们忽视基本体重的倾向会导致他们超重或过轻。

通过结构化分析技术测试提高判断力需要平衡对立的偏见。去除偏见就像种植植物一样：水少了，看着它死去；水多了，得到的结果也一样。"加水看它生长 "不是一个可行的园艺策略，就像 "加结构化分析技术，看分析的繁荣 "不是一个可行的认知心理策略。这是因为结构化分析技术测试旨在防止的偏见与对立的偏见有关，当结构化分析技术测试对原有错误进行过度纠正时，这些偏见就会发挥作用。问题是，结构化分析技术作为认知偏见的治疗方法，在应用时往往假定困扰分析者的偏见的程度和方向都是已知的，而事实上这很少被知道。最糟糕的情况是，结构化分析技术非常有效，导致分析者表现出相反的偏见。单向去污技术是很脆弱的，因为分析员之间的偏见程度和方向往往受到情景因素的影响，如时间压力和个体差异，如分析员自然寻求不确定信息的程度和他们对某一主题的专业知识水平。

稳健的去偏策略应该旨在通过减少偏差和相反的偏差来减少与准确性的偏差。这个概念不同于通过减小偏差的一个极点的大小来消除偏差的想法。例如，以校准反馈为例，它针对的是过度自信和缺乏自信，并与警告过度自信危险的技术相比较——试图让人们朝着一个特定的方向移动，需要知道哪个方向和多少。

因此，结构化分析技术采用一刀切的偏见方法来进行判断纠正。但是，分析员根据具体情况表现出的偏见程度是不同的，包括证据质量、目标行为和变化性等变量，甚至是过去判断的准确性。事实上，分析员可能会对他们的判断产生偏见，从而使他们最终不 "犯最后的错误"--这可能是在伊拉克大规模杀伤性武器案件中过度连接点的情况，作为对9/11案件中连接点不足的回应。

同样，目标行为如果不经常改变，会导致分析员过度倾向于现状，在情报界对俄罗斯入侵克里米亚和阿拉伯之春起义的漏报中似乎就是这种情况。分析师们在自我识别有偏见的认知的能力和动机方面也有不同。在最坏的情况下，分析员可能会错误地认为他们是完全没有偏见的，或者认为他们表现出一种偏见，而实际上他们表现出的是相反的偏见。

结构化分析技术依赖于分析员和他们的领导正确识别他们自己的偏见的方向和程度，这可能是一个很少被满足的前提条件。许多支持结构化分析技术的论点都是在重大情报失败后提出的，因此在未来的分析中使用哪种结构化分析技术是希望防止另一个 "解放军渡过鸭绿江 "或 "苏联导弹缺口 "的错误判断。

然而，这种事后诸葛亮式的调查实际上可能会导致采用对改善未来问题的判断有负面影响的技术。例如，关注他们给予现状多少权重的分析家可能会采取 "故意唱反调"的方法，这反过来又使他们有可能过度重视那些有吸引力但概率较低的情景。头脑风暴和情景生成可能使9/11式的攻击变得更容易想象，但由于关注了太多牵强附会的情景，其净效果很可能是掩盖了更合理的攻击途径，例如本土的极端分子用攻击性武器进行大规模杀戮。

没有适当的测量，就不可能测量限制精度的偏差的方向和大小。因此，对于应该优先纠正哪些偏见，以及纠正到什么程度才会导致过度纠正，存在很大的不确定性。表2显示了由于片面使用结构化分析技术而产生的对立偏见。

表2、结构化分析技术可能会引发反偏见

许多结构化分析技术测试都是为了挑战共识的观点。但是，只专注于降低过度的一致性，可能会产生诱发过度猜测的意外效果。事实上，最近对加拿大战略情报分析员的研究发现，地理政治预测是系统性的信心不足，而不是过度自信。实验研究证实了这些发现。在一项研究中，军事情报分析员在判断两个相互排斥和详尽的假设的概率时，对假设的确定性太低。由于结构化分析技术的设计是为了挑战普遍的推理路线，它们可能无意中削弱了已经信心不足的分析员的信心。通过将判断置于不必要的不确定性中，情报机构淡化了情报的指示性价值。信心不足会助长而不是减少决策者头脑中的不确定性。

表2还显示，结构化分析技术测试非常注重防止维持现状偏见，这可能会引发基数忽视的相反偏见。丹尼尔-卡尼曼和阿莫斯-特维斯基创造了这个术语，用来描述 "在这种情况下，一个主体已知的基本比率，至少是近似的，被忽视或大大降低了比重"。当分析师被逼着关注变化的可能性时，他们不出所料地过度预测变化。例如，"如果"？分析和头脑风暴鼓励离经叛道的想法，可以引导分析员远离诊断信息。对跨案例基数的低权重通常伴随着对具体案例指标的高权重，导致置信度估计的误判。

具体来说，人们不合理地把可观察到的、特定案例的证据放在首位，而对每一个证据的预测有效性不太敏感，因为每个结果发生的先验几率（如贝叶斯方法所规定的）。根本问题是，大多数人在没有适当训练的情况下很难评估概率。研究表明，当证据相对于基数而言是极端的，按照贝叶斯的标准，个人会变得 "过度自信"，而 "弱 "的证据会产生 "信心不足 "的判断。

此外，个人倾向于对小的样本量（即最小的指示性证据收集）过度自信，而对大的样本量（即指示性证据的广泛性）则信心不足，这表明他们没有能力做出与现有证据的强度相称的推断。人们很可能没有将新的证据与他们先前的信念结合起来进行适当的权衡，造成判断上的非理性自信。总的来说，针对现状偏见的结构化分析技术可能会放大相关概率的膨胀或紧缩，这种意外的后果使不可能的事情看起来比有理由的更可能。

忽略噪音:结构化分析技术能减少判断中的噪音吗?

除了轻微的双极性偏差之外，我们认为某些结构化分析技术在本已充满噪声的过程中不必要地引入噪声，导致不一致的判断变得更加不一致(用科学的话说，不可靠)。评估的可靠性是评估有效性的必要条件，但不是充分条件。许多情报分析员都是高技能的，通过多年的经验和专门训练而获得专业知识。如果什么都没有改变，我们应该期望专家分析师在不同的时间使用相同的结构化分析技术来检查相同的证据，得出相同的判断，也就是说，内部一致和时间稳定。然而，有几种类型的结构化分析技术依赖于分解和单独解决问题的组成部分(如证据、假设、结论)。不幸的是，在分解过程中有很多主观性，部分原因是结构化分析技术规定的过程的模糊性。这为结构化分析技术(程序化思维过程，作为“单纯直觉”的替代)的强大程度奠定了基础，削弱了情报分析。

最终，结构化分析技术依赖于主观的分析输入（这甚至延伸到解释相对客观的科学特征和遥感数据）。如果没有明确的规则来可靠地改善对输入的解释和提高分析结果，结构化分析技术可能只是作为一种工具，将主观性从过程的一端运送到另一端。结构化分析技术过程本身就成了一个目的，将主观判断披上了客观性的外衣。对分解的部分--假设、证据和假设--证据的联系--的处理不一致，尤其令人担忧。

结构化分析技术允许对原始情报进行不一致的处理，特别是对证据如何影响替代假设的判断。例如，在涉及来自多个机构的3000多名学生的练习中，Heuer和Pherson发现，"学生对如何评价[ACH]矩阵中大约20%-30%的单元格的证据存在分歧"。这是不足为奇的，因为竞争假设分析（ACH）技术并没有对如何定义 "一致性 "提供详细的指导，尽管 "一致性 "的概念在所有竞争假设分析（ACH）评级练习中处于核心地位。

分析师还可以积极地扩展一个被看好的假设的原始概念框架，以适应新的证据（而确认性偏见则将证据塞进假设中）。因此，从结构化分析技术框架中出现的不是最准确的假说，而是在意识形态上最符合分析家先入为主观念的假说--这个问题被称为 "概念拉伸 "或 "弹性重新定义"。分析师可能没有意识到他们对某一假设的偏爱，这可能会影响他们对被偏爱或不被偏爱的假设的证据的一致性进行宽松或严厉的判断。

结构化分析技术也很难处理证据链之间的相互依赖关系。诸如竞争假设分析（ACH）和 "变化指标 "和 "变化标志 "等技术通过指导分析人员将问题分解为各个组成部分来解决这些混乱的问题。这种还原主义的处理方法忽视了变量之间的一阶互动，以及变量之间的反馈循环和随后的加速或减速互动。第一次世界大战的爆发是在复杂的关系交织中出现的，很难不失真地分解。如果在模拟中没有准确地捕捉到相互依存关系，一个小小的变化就会引起剧烈的扰动。更重要的是，结构化分析技术依赖于分析者对问题进行适当的分解，对于在多大程度上进行还原主义练习没有提供指导，并再次导致了机构认可的主观性问题。Beebe和Beebe指出，尽管结构化分析技术可以帮助分析者评估二元关系，但它们并没有解决涉及许多变量的反馈回路和连锁互动，包括现有分析空间中所包含的元素之外的元素。代表变量之间的相互作用的困难是使复杂情况难以理解和预测的原因。

如何衡量证据(决定来源的相对重要性)是分析的另一个关键方面，很大程度上被结构化方法忽略了。没有更明确的规则，分析师只能靠自己的主观手段。竞争假设分析（ACH）是少数几个通过“加权不一致性得分”来捕捉不同证据价值的方法之一。然而，竞争假设分析（ACH）需要提供更明确的指导方针来一致地权衡证据。不同的分析师分配不同的权重(例如，评级者之间的分歧)可能导致不连贯和不准确的权重分配。竞争假设分析（ACH）对根据诊断性对证据进行排名的描述需要经过解释，因此可能导致不同个体之间的排名不一致(甚至个体内部取决于他们看证据的时间(潜在的自我矛盾现象))。

忽视噪音也会导致推理的偏差。像竞争假设分析（ACH）这样的方法没有检查分析人员是否对证据与假设的 "一致性 "和 "不一致性 "有共同的解释--使一致性的含义成为主观的。竞争假设分析（ACH）的指令（例如，中情局入门手册中的教条式版本）没有得到充分的说明，按照目前的设计，往往会导致主观间对什么证据 "符合 "或 "不符合 "某个假设的分歧。中情局关于非物质文化遗产的入门手册将 "对记者的攻击 "列为与日本邪教奥姆真理教是一个 "怪异的邪教 "不一致，与它是一个 "恐怖组织 "的关系是中性的，但合理的分析家可以将攻击媒体视为一种常见的恐怖战术。如果分析员在竞争假设分析（ACH）中对证据有这样的思考，那么竞争假设分析（ACH）只是一种结构化的方法，以促进分析员对代表性启发式的使用--实际上，竞争假设分析（ACH）要求分析员回答这个问题："这个证据在多大程度上似乎符合或匹配这个假设？" 代表性启发式被牵涉到一些判断偏见中，包括连带谬误、对样本大小不敏感以及高估个体化信息的证明价值。

结构化分析技术的培训者和批评者都指出需要消除结构化分析技术所带来的分析合理性的幻觉。如果一个分析员在没有对他们的外化思维提出重大挑战的情况下完成技术动作，结构化分析技术可能只提供了分析合法性的外衣，而没有真正改善分析质量。按照目前的设计，结构化分析技术可以使不精确性（即不系统地偏离精确性）降低判断的可靠性--尽管宣布的目标是迫使分析员产生更精确的判断。在没有新信息的情况下，同一个分析师使用相同的结构化分析技术应该在一段时间内产生相同的判断（是可靠的）。可靠性是建立有效性的一个必要因素，但不是充分因素--分析师至少不应该与他们自己之前对完全相同的数据的判断相矛盾。尽管有这些缺陷，情报学文献倾向于认为结构化分析技术在很大程度上是按照预期工作的。结构化分析技术的倡导者（甚至是官方文件）经常对其净效用采取不加批判的态度。这些缺陷之所以没有受到质疑，是因为结构化分析技术很少受到科学审查。因此，我们认为有必要对结构化分析技术的净有效性进行测试，并消除已知的缺陷。

结构化分析技术基本上还没有被测试

对两极偏见和噪音的忽视持续了这么长时间，因为结构化分析技术从来没有受到持续的科学验证，这是一个事实，即使是最热心的结构化分析技术倡导者也承认缺乏测试还有其他下游影响，包括对普通分析师技术的不信任。在时间压力下的分析师不愿相信价值未知的耗时技术，这是可以理解的。

据我们所知，没有官方报告仔细研究过结构分析是否改善了与ICD 203标准相比较的推理，例如正确的索赔来源，展示清晰和逻辑的论证，以及评估更准确。2007年，情报委员会开始根据客观性、政治独立性、信息广度、及时性和适当的情报技巧等指标正式评估情报产品，情报界直到最近才开始系统地评估其估计的准确性，并将其准确性与制造这些估计的谍报技术联系起来。Heuer和Pherson自己也承认，“验证分析技术的常规标准是它提供的答案的准确性。”他们承认目前“没有系统的程序来评估或验证这些技术的有效性”。

在一次独立的审查中，Coulthart根据结构化分析技术对严格性和准确性的影响考察了其功效。头脑风暴被证明在40%的情况下能有效地改善分析；然而，面对面的协作式头脑风暴（CIA Tradecraft Primer认可的头脑风暴形式）对判断的质量始终有不利的影响。在70%的案例中，"故意唱反调 "的表现优于通过共识决策方法得出的分析结果。在另一项研究中，竞争假设分析减少了确认偏见，但只对没有情报背景的人而言。那些有情报背景的人没有显示出确认偏见的减少。虽然"故意唱反调 "表现良好，但这些初步结果表明，结构化分析技术（SATs）作为一个整体值得更多的怀疑性审查。

Rob Johnston对他使用另一种竞争分析形式Red Team analysis的经验的反思:“(群体的人口统计数据)并不代表我们打算模拟的对手，”强调了基于最佳意图而产生的方法可能会出错。根据约翰斯顿的说法，小组中只有一个人的文化背景与目标有关;这个人的贡献被其他小组成员严重低估，他们反而更喜欢与自己背景相符的理论。”这个例子表明，与设计意图相反，镜像成像偏见仍然普遍存在于红队的分析中。在这种情况下，结构化分析技术产生了一种错误的观点多样性的感觉。

尽管一些人反对以经验来评估结构化分析技术的有效性，但霍耶尔和弗森表示，“如果让情报分析人员使用情报系统内部用于分析典型情报问题的技术进行实验，就可以在很大程度上解决这些担忧。”已经作出了很有希望的努力来满足每一项要求，但是它们还没有被纳入一个综合的评估框架，如ICD 203标准如果没有一个明确的绩效标准，分析师可能只会寻求使用结构化分析技术，因为它们在ICD 203中被正式化，而不是因为它们是有效的。

解决偏见双极性和噪声忽略以改善结构化分析技术

结构化分析技术应该促进分析评估的可靠性(即，分析师在不同时间内的一致性)，有效的(即，基于合理的推理)，和准确的(即，对应于真相)。要实现这一目标，首先要在技术中充实子过程(每个结构化分析技术如何对证据进行分类，这个过程是否是协作的，结构化分析技术应该在什么情况下使用，等等)。这包括确保结构化分析技术从一个尽可能强大的理论框架开始。更好地整合逻辑推理和概率推理也很有必要，以使结构化分析技术在内部保持一致。最重要的是，对结构化分析技术的评估应该看它是否能带来准确的判断和更高质量的解释，这样才能更好地理解它帮助判断的潜力。

建立更加明确的证据处理规则

我们建议建立明确的规则来衡量和分类证据，以促进在结构化分析技术应用上的一致性，更重要的是，在它们支持的评估上的一致性。我们建议保留记录，以确定各种类型的情报信息在评估以前的情况中所起的作用证据(例如，原始报告、开源媒体、背景信息)和结果之间的关系将有助于建立事件发生的基础率，随着时间的推移，可以为基于案例的评估的“内部人观点”组合提供“外部观点”检查。这些信息可以用于更恰当地在竞争假设分析（ACH）等技术中权衡证据;同时，在进行信息质量检查时，分析师的信息源跟踪记录可以用于评估信息源的可信度。

澄清评估证据的结构化分析技术（SAT）规则可以帮助分析员批判性地思考他们应该如何解释新的或不熟悉的信息，而不是依赖他们的直觉。实施这样的规则可以减少在如何解释新的观察结果方面的模糊性--这反过来又会使分析员和分析小组在处理证据时更加一致。例如，明确的分类规则将客观地澄清什么是 "适度关注 "的标志物，什么是 "实质性关注 "的标志物，在变化指标和标志物的过程中。如果分析人员观察到有人试图获得可能适合或不适合用于浓缩的铝管，他们应该在多大程度上更新对一个国家拥有大规模毁灭性武器的看法？这些澄清应尽量减少解释证据以 "符合 "宠物理论的可能性。

将概率论融入结构化分析技术

结构化分析技术应包括确保分析人员按概率推理并能准确表达其概率评估的机制。数字概率是首选，但有时可能使用口头概率一致和谨慎，以达到足够的精度。概率评估的目的不是将分析师的判断错误地描述为科学事实，而是促进在长期内支持内部一致性思维和准确性的明确验证的条件。这种核查反过来又将大大改善情报问责制，以重要的准确性指标补充对分析过程的几乎完全关注。通过评估朝鲜“可能”在今年年底前崩溃这样的结论，分析人士可以相应地调整他们未来的判断。

有了精确的反馈，分析人员就不太可能高估罕见结果的可能性，而更有可能做出校准的评估，正确识别各种假设的相对优势。为了改善主观之间的一致性和一致性，为假设分配数字概率将使分析人员能够向彼此和政策制定者传达更细化和有意义的估计。艾伦-巴恩斯在担任加拿大政府情报评估秘书处中东和非洲分部主任时，采用了九点概率表，并发现它创造了一个 "关于判断所附确定性程度的共同理解"，从而减少了分析员向他人传达判断时出现的误解问题。巴恩斯还发现，使用数字概率的经验增加使分析员在使用时更加自如。

验证结构化分析技术在去偏见和降噪音方面的效果

我们建议使用科学黄金标准来测试结构化分析技术:对照随机实验，设计的方式对分析人员面临的具体和独特的环境敏感:时间压力、证据不确定性和与国家安全有关的内容。

此外，Heuer还指出，两个不同的分析员使用同一个结构化分析技术，评估同一个分析问题，会因为不同的 "心理模型 "而得出不同的判断。然而，结构化分析技术的支持者们应该同意，如果结构化分析技术要产生一致的结果，那么同一分析师使用特定的结构化分析技术在每次遇到特定的情况时应该以相同的方式来解释，如果事实上没有任何变化的话。换句话说，在没有新信息的情况下，信念不应该随机摆动。

因此，为了衡量结构化分析技术的可靠性，我们提出了各种测试，如检查测试-复验的可靠性、对框架效应的易感性、重新聚焦效应以及使用方法是否会导致对推理的逻辑约束的违反。

例如，对在指定地点和时间范围内发生恐怖袭击的概率的评估与对在同一地点和时间范围内没有发生恐怖袭击的概率的评估在减去1后会有很大的不同。然而，似乎向人们询问一个事件（如恐怖袭击）的发生或不发生，往往会引发不同的信息搜索、记忆检索和评估过程。同样，当某一类型的实例的成功概率很高时（比如90%的可能性），人们判断像 "4次尝试中正好有1次成功 "这样的事件描述比 "4次尝试中正好有3次失败 "更有可能，尽管它们指的是同一个连词（即 "4次尝试中1次成功和3次失败"），因此是等价的。结构化分析技术应该帮助分析师避免这些可预测的逻辑不一致的形式，但目前还没有可靠的证据表明它们能做到。

具体地说，我们建议对时间稳定性进行以下测试-再测试评估:同一名分析人员在一两个月的时间内被给予相同的情报问题进行分析(相同的证据和目标)。如果技术是可靠的，分析人员将每次以相同的方式对组件进行分类，更重要的是，得出相同的判断。这对诊断技术来说是一个特别重要的测试。在缺乏明确标准的情况下，要求分析师将信息分解为组件(例如，证据、指标、来源)可能会导致不必要的混乱过程。例如，如果分析师正在使用指标或变化路标，并在试验1中将特定指标(例如，军方对文职政府的不满)确定为“适度关注”，那么在没有新信息的情况下，分析师也应该在试验2中将其确定为“适度关注”。如果我们发现试验I和试验2中分析人员对指标的分类是不可靠的，那么在进行有效性测试之前，应该通过创建更明确的证据分类规则来改进该技术。测试可靠性实验已在诸如放射学、税务会计和审计等专业领域进行。我们的建议将为结构化分析技术是否减少、增加或保持判断不精确程度的问题提供深入的见解。

注意，提出的方法不会测试分析协作的价值，但是它可以通过添加另一个设计元素轻松地进行测试。我们可以为团队设计类似的实验来测试协作技术，比如头脑风暴和红色团队。这些结构化分析技术的群体方面旨在促进多样化的意见范围，使所有假设都能得到考虑，并选择最优的判断。因此，它可能是可取的，给多个组相同的分析项目和访问相同的证据，然后衡量一致性组判断呈现或没有结构化分析技术。结构化分析技术使用提高组间的可靠性?我们要测试后才能知道。

建立持续改进结构化分析技术的反馈回路

情报组织应根据准确性评估的数据，定期更新和改进结构化分析技术。这种反馈循环的一部分需要对评估的准确性进行打分，有时甚至在关键判断被表述为口头概率时也可以这样做。情报预测的历史准确性大多是未知的。通过量化分析员使用逻辑上连贯的过程分配给假设的可能性，我们可以记录每个分析结构产生准确判断的频率和程度（通过技能指标，如Brier分数来衡量），以建立可靠的绩效记录。然后，我们可以不断地对所有的估计判断进行编目，并进行后续的事后检查，以交叉检查对应于正确结果的假设是否自始至终都 "在雷达上"，并检查它为什么被低估或被驳回。这些记录可以用来评估当前的威胁，研究过去哪些类似的威胁被分析家准确评估，以及哪些因素区分了失败和成功。约翰斯顿将这种类型的系统称为 "机构记忆"--一个分析人员可以利用和补充的 "经验教训 "图书馆。数据库最终可以发展成一个系统，允许自动提取与特定人、日期、地点、设施、组织等相关的信息。从长远来看，这将节省分析人员的时间，因为他们可以从一个集中的编码系统中更快地检索信息，并有效地发现整个主题历史的关联。

此外，提供反馈给个别分析师可以帮助他们随着时间的推移改善他们的判断，包括校准和鉴别的措施在评估不确定性时，大多数人对自己的优点和缺点都没有准确的认识;绩效反馈已被证明可以帮助个人提高他们的绩效，通过保留记录来消除自我服务的技能幻想Johnston提出了一个“性能改进基础设施”来衡量个体分析的性能和影响不同的“干预”(如结构化分析技术)对他们的表现的影响情报分析师的表现可能会变得更像天气预报员，格里芬和特沃斯基把天气预报员的成功部分归功于他们获得了“即时的频繁反馈”。虽然情报分析和天气预报是不同的活动(首先，云没有代理)，而且分析人员可能永远不会接近气象学家(他们有丰富的数据计算机模型)的校准，反馈可能会导致一些判断的改进。多少是一个经验问题，只有在这样的制度建立之后才能回答。

最后，我们提出了一个新的、更有科学依据的分类法来组织、测试和生成新的结构化分析技术。组织结构化分析技术的一种方式是通过将其与分析生产阶段（例如，在最初的起草过程中，在社区协调过程中）和认知子过程（例如，在广泛的信息搜索过程中，在假设的产生过程中）相一致来确定何时最好地使用它们。一个更简明的方法是将结构化分析技术与分析员经常遇到的、在心理学文献中占有突出地位的更深层次的认知权衡相一致。

例如，目前官方对诊断性、逆向性和想象性技术的分类法可以简化为两类：帮助分析员进行批判性思维和帮助分析员进行创造性思维。心理学家汤姆-吉洛维奇（Tom Gilovich）已经观察到这种区别，并将结构化分析技术测试类比为问 "必须相信吗？"和问 "可以相信吗？"的测试。当分析者遇到新的证据，根据新的证据重新考虑旧的证据，并产生和测试假设时，他们必须在尽量减少相信他们在逻辑上没有义务相信的东西的错误之间取得平衡（即对过度轻信的检查）。他们还必须尽量减少对他们应该重视的可能性不给予信任的错误（即对过度僵化的检查）。现有的技术，如预见性分析，可以帮助分析员解决 "我能相信吗 "这类问题，而魔鬼的主张则是对 "我必须相信吗 "这类分析结论的压力测试。

换句话说，一些结构化分析技术会增强眼睛的视觉(即，我们快速和准确地诊断我们面前的威胁和机会的能力)，这在当前和危机情报功能中特别有用。另一些则会增强我们的周边视野(即，我们对超出传统情报可信范围的威胁的预测能力——从而将逆向思维和想象力结合起来)，这有助于长期评估和视野扫描。将结构化分析技术与科学基础功能相结合，将使分析人员更容易处理他们经常遇到的棘手的认知权衡问题。

结论

20世纪伟大的社会学家罗伯特·默顿(Robert Merton)对集体实践和仪式的显性和隐性功能进行了区分。“雨舞”的显性功能是让云形成并产生降雨，但它们也有让部落团结起来、培养社会凝聚力的潜在功能。默顿认为对于人们来说，大量集体活动的潜在功能实际上比显性或官方声明的功能重要得多。

指出实践的潜在功能可能是有风险的。当外人认为内部人士做某件事的公开理由不是他们真正的理由时，内部人士通常会感到愤怒。但严肃的科学探究需要冒险提出一个不相干的问题:情报界更看重结构化分析技术的显性功能还是潜在功能?

到目前为止，我们已经接受了情报界的说法，并假设结构化分析技术的明显功能——提高分析能力——是它接受结构化分析技术的真正原因。但这篇文章的核心主张提出了一些问题。如果结构化分析技术从来没有经过严格的有效性测试，而是建立在一种站得住的认知偏见的单极概念上，并助长了前后矛盾的判断:为什么这种次优状态会被允许持续几十年?

我们看到了三种可能性。

首先，我们低估了情报界和结构化分析技术（SAT）的支持者。情报界比我们声称的更了解结构化分析技术的有效性，而结构化分析技术也比我们想象的更有效。

第二，情报界对功效的了解并不像我们宣称的那么多，而且它也没有特别的兴趣去了解更多。结构化分析技术具有重要的官僚政治信号功能。它们传递出这样的信息:情报界致力于玩一个纯粹的认知游戏，并按照准科学的基本规则来训练它的分析师。衡量成功的标准不是精确度，而是印象管理标准，它遵循一种直观的政治家心态:我们是否在关键选区创造了理想的印象?

第三，情报界知道的和我们担心的一样多——并且想了解更多，但是怀疑是否有可能超越表面有效性。

我们不太可能说服第一和第二阵营的读者，但我们会努力吸引第三阵营的读者。这是因为结构化分析技术有很大的希望。如果正确地构建，并不断地进行测试和改进，它们可能会帮助分析师生成更准确、更合理的报告。结构化分析技术在很大程度上还没有经过测试，这是情报分析师采用结构化分析技术的一个主要问题，因为需要证明其有效性，才能成为结构化分析技术“令人信服的案例”的一部分。关于哪一种结构化分析技术最适合哪一种问题(区域的、功能性的)的进一步培训，只能通过严格的应用科学研究的数据来开发，这些数据表明，一种特定的结构化分析技术适合于一个问题子类型。有时最好的结构化分析技术可能是完全没有结构化分析技术。

简而言之，这篇论文是在呼吁更高的科学严谨性。科学，就像情报一样，可以是混乱的。进步是缓慢的，只能来自于突破边界的努力。结构化分析技术的支持者和反对者都应该欢迎这种新的关注。结构化分析技术的问题很严重，但也有潜在的解决办法。虽然不能保证卫星能防止下一次大规模杀伤性武器误判或预测下一次重大恐怖袭击，但它们仍能以有意义和可衡量的方式改进分析。弄清楚如何最好地设计结构化分析技术，让它们帮助而不是阻碍情报分析人员，应该是当务之急。

原文及CIA的PDF和百分点机器翻译文档已上传知识星球

长按识别下面的二维码可加入星球

里面已有数千篇资料可供下载

越早加入越便宜

续费五折优惠