DeepSeek的R1与R1-Zero：技术差异与AI风险管控

DeepSeek的R1与R1-Zero：技术差异与AI风险管控
2025-2-2 01:56:0 Author: mp.weixin.qq.com(查看原文) 阅读量:1 收藏

编者按

和大家一样，春节假期期间，公号君也高度关注DeepSeek的技术表现。作为一名研究法律政策的人员，当然也关注其可能带来的潜在影响。今天是本系列的第二篇。第一篇见：DeepSeek-R1展示了小模型也能成为推理专家

DeepSeek在AI研究和应用的突破发现表明，强化学习（RL）与蒸馏（distillation）等技术手段的创新，能够极大地推动推理模型的进步。在其技术论文中，DeepSeek推出的R1和R1-Zero两个模型，虽然基于相似的架构（DeepSeek-V3），但在训练方法上有着显著的差异。通过对这些差异的分析，不仅能够帮助我们更好地理解当前推理模型的技术细节，还能对AI技术在未来发展中可能带来的风险、透明度和可信任度问题进行深入思考。

一、R1与R1-Zero的区别：训练方式与模型表现

DeepSeek的R1和R1-Zero是两个具有重要技术突破的AI推理模型，它们的区别主要体现在训练过程中的不同方法。为了更好地理解这两个模型的差异，需要从训练方式、数据依赖以及推理能力三个方面进行分析。

1. R1的训练方式与特点

R1模型是DeepSeek在其基础模型DeepSeek-V3的基础上，结合了两种关键的技术手段：监督微调（Supervised Fine-Tuning，SFT）和强化学习（Reinforcement Learning，RL）。其训练过程包括三个主要阶段：预训练阶段、SFT阶段和RL+测试时计算（TTC）阶段。

预训练阶段：与其他大型AI模型一样，R1首先通过大规模的网络数据进行预训练，学习各种语言模式和推理规律。在这一阶段，R1积累了广泛的基础知识和语言理解能力，为之后的任务提供了扎实的基础。
SFT阶段：接下来，R1模型通过对高质量的人类示例数据进行监督微调（SFT），进一步提升其推理能力。SFT的核心是通过将人类的推理过程和结果作为训练数据，帮助模型学习如何在给定输入的基础上进行推理和推断。SFT阶段（模型蒸馏发生在这个阶段）为R1注入了大量人类知识，这些知识帮助R1在面对复杂推理任务时，能够展现出更高的准确性和合理性。
RL+TTC阶段：R1的最后一个训练阶段引入了强化学习（RL）和测试时计算（TTC）的技术。在这个阶段，R1通过与环境的互动进行自我调整，从而提高其推理和决策能力。RL通过奖励信号帮助模型优化决策，而TTC则允许R1在推理过程中动态地利用计算资源，进一步提升其在复杂任务中的表现。、

通过上述的训练流程，R1模型能够在基础模型的基础上，通过人类数据的细致微调和强化学习的反馈，不断提高推理能力。

2. R1-Zero的训练方式与特点

与R1相比，R1-Zero的训练方式有着显著的简化，尤其是在SFT阶段的省略。R1-Zero的训练流程简化为两个主要步骤：预训练阶段和RL阶段。

预训练阶段：与R1一样，R1-Zero也通过大规模的网络数据进行预训练，学习语言模式和推理规律。然而，与R1不同的是，R1-Zero在这一阶段并没有接触任何人类生成的示例数据。
RL阶段：R1-Zero的核心创新在于，完全跳过了SFT阶段，直接通过强化学习（RL）进行推理训练。具体来说，R1-Zero通过在没有任何人类数据的情况下，依靠与环境的互动来进行自我学习。这一过程中，模型通过奖励信号来优化推理过程，从而在面对未知任务时，逐步掌握推理技能。

R1-Zero的这种训练方式，虽然减少了对人类数据的依赖，但也意味着模型完全依赖自我探索来发现推理模式。虽然这种方法减少了人工数据的成本，但也可能导致模型在初期的推理准确性和可靠性上不如R1。

3. 技术差异所导致的结果

在R1与R1-Zero的训练过程中，模型蒸馏发挥了至关重要的作用。蒸馏技术是一种将大模型的知识“提炼”并转移到较小模型中的方法。DeepSeek在R1的训练中，通过蒸馏从DeepSeek-V3这个强大的基础模型中提取知识，从而使得较小模型能够以较少的计算资源达到较好的推理效果。

模型蒸馏的优势在于，它能够通过知识迁移帮助小模型快速掌握复杂任务，而不必从头开始学习所有内容。相比于直接使用强化学习，蒸馏不仅更加高效，还能够节省大量的计算资源。在DeepSeek的实践中，蒸馏技术使得R1能够在保持高性能的同时，避免了需要巨量计算资源的RL训练。

从训练方式的差异来看，R1与R1-Zero的表现也有所不同。R1通过SFT和RL的结合，能够更迅速地吸收并应用人类知识，使得其推理能力在面对复杂任务时表现得更为稳定和准确。而R1-Zero尽管通过RL能够自主发现推理模式，但由于缺乏人类数据的支持，其推理能力仍然受到一定限制。具体表现为，R1-Zero在推理的可读性和稳定性上存在较大的波动，有时可能会出现令人难以理解的推理过程，尤其是在面对复杂、模糊的任务时。

二、从弱模型到强推理模型的路径

DeepSeek的论文还揭示了到目前为止所发现的行之有效路径。【另见：DeepSeek-R1展示了小模型也能成为推理专家】

首先，蒸馏SFT（监督微调）比RL在较弱模型上更有效。即在提升较小或较弱模型时，通过监督微调（SFT）从较大、较强的模型中蒸馏知识，比直接对较弱模型应用强化学习（RL）更为有效。因为较大的模型（如DeepSeek-R1）拥有更复杂的推理模式和知识。通过蒸馏将这些学习到的知识转移给较小的模型，能够让这些小模型在不需要大量计算资源的情况下表现更好，而这些资源通常是RL所需要的。就像教一个较小的孩子推理，通过向他们展示专家的思维过程，比起让他们自己摸索出所有答案，更为有效。

其次，RL对较小模型仍然有价值，即对蒸馏模型，开展RL仍然能带来进一步的提升。虽然蒸馏更高效，但RL有助于进一步微调这些模型的推理能力，并帮助其适应蒸馏数据集中没有的特定任务或场景。首先蒸馏知识，再应用RL的这一双重过程有助于创造出更精细的模型。

最后，基础模型必须不断改进。尽管蒸馏策略在成本上更为高效，但要将AI推向新的边界，仍然需要更强大的基础模型和更大规模的强化学习。就有外国评论指出的，为了提升推理能力，DeepSeek可能最终需要训练更先进版本的DeepSeek-V3（例如V4、V5等），就像OpenAI需要开发更先进的GPT版本（如GPT-6）以继续改进o系列模型一样。更大、更强的模型能提供更好的推理能力，但在数据和计算资源方面的成本成为了一个重要因素，推动着基础设施和方法的改进需求。

三、AI风险管控、透明度与可信任度的影响

随着R1和R1-Zero模型的不断发展，我们不仅要关注它们的技术表现，更要考虑这些技术对AI风险管控、透明度和可信任度的潜在影响。这些问题在未来AI技术的普及和应用过程中，将成为亟待解决的关键挑战。

1. AI风险管控：从“可控性”到“不可控性”

R1与R1-Zero模型的不同训练方式，反映了AI系统在可控性上的差异。R1通过SFT和RL的结合，使得模型能够在较为受控的环境中进行推理训练。这种方式的优势在于，模型的推理过程可以被监督和引导，开发者可以对模型的行为进行一定程度的控制和调整。因此，R1模型相对来说具有较高的可控性，能够更好地应对复杂的推理任务。

然而，R1-Zero的训练方式则带来了更大的不确定性。由于R1-Zero依赖自我探索进行推理学习，且没有人类知识的干预，模型的推理过程可能会变得更加“不可预测”。在面对未知任务时，R1-Zero可能会走出人类无法理解的路径，这种不确定性增加了AI的风险，尤其是在关键应用场景（如医疗、金融等领域）中，可能导致难以预料的后果。因此，如何确保像R1-Zero这样的模型在实际应用中的安全性和可靠性，成为了AI技术发展中的重要问题。

2. 透明度：训练过程的“黑箱化”

AI系统的透明度问题长期以来都是技术发展中的热点话题。R1模型通过结合SFT和RL的方式，使得其训练过程相对较为透明。虽然R1的推理过程仍然具有一定的复杂性，但由于其受人类知识和强化学习的指导，模型的行为相对可解释和可追踪。开发者能够通过对SFT和RL过程的监控，分析模型的推理路径和决策过程。

相比之下，R1-Zero的训练方式则导致了更高的“黑箱化”问题。由于R1-Zero完全依赖RL进行推理学习，且没有人类数据的干预，模型的推理过程更加复杂且难以理解。它的推理模式可能与人类的思维方式截然不同，甚至可能生成一些看似不合理的推理路径。在这种情况下，如何提高AI的透明度，让开发者和用户能够理解模型的推理过程，成为了一个亟待解决的难题。

3. 可信任度：从“人类可控”到“AI自主”

随着AI技术的不断发展，如何确保AI系统在实际应用中的可信任度成为了一个关键问题。R1模型由于其通过SFT吸收了大量的人工知识，使得其推理过程具有较高的可信度。通过适当的监督和微调，开发者可以确保模型的推理结果是符合预期的。因此，R1相对来说更容易获得用户的信任，尤其是在需要高可信度的应用领域。

R1-Zero自我学习推理的概念是革命性的。DeepSeek的做法不是向AI提供数百万个人工制作的例子，而是让它在没有任何先验知识的情况下，依靠其内在的学习能力进行自我训练。它没有阅读我们的数据，而是通过自我引导的实验进行学习。结果非常有趣，尽管比R1稍显逊色，这表明尽管AI可以独立发展推理能力，但这种方法仍然存在局限性。然而，R1-Zero由于缺乏人类数据的指导，其推理过程的可信度似乎较低？尽管它可以自主进行推理学习，但由于其推理过程的不确定性，用户可能会对其推理结果产生怀疑。在没有足够透明度和控制手段的情况下，如何保证R1-Zero在实际应用中的可信度，成为了一个亟待解决的问题。

通过对R1与R1-Zero模型的技术差异分析，可以看到，这两种模型在训练方式上的不同，导致了它们在推理能力、透明度和可信任度等方面的差异。R1通过引入SFT和RL，能够在推理能力和控制性上取得更好的平衡，而R1-Zero的自我探索方法则带来了更高的不确定性和潜在风险。

在AI技术不断发展的今天，如何在提升推理能力的同时，确保AI系统的可控性、透明度和可信任度，将是AI领域亟待解决的关键问题。随着技术的进步，我们或许能够找到更好的方法来平衡这些问题，以推动AI技术朝着更加安全、可靠和可持续的方向发展。

数据保护官（DPO）社群主要成员是个人信息保护和数据安全一线工作者。他们主要来自于国内头部的互联网公司、安全公司、律所、会计师事务所、高校、研究机构等。在从事本职工作的同时，DPO社群成员还放眼全球思考数据安全和隐私保护的最新动态、进展、趋势。2018年5月，DPO社群举行了第一次线下沙龙。沙龙每月一期，集中讨论不同的议题。目前DPO社群已超过400人。关于DPO社群和沙龙更多的情况如下：

DPO线下沙龙的实录见：

域外数据安全和个人信息保护领域的权威文件，DPO社群的全文翻译：

传染病疫情防控与个人信息保护系列文章

关于数据与竞争政策的翻译和分析：

健康医疗大数据系列文章：

网联汽车数据和自动驾驶的系列文章：

网络空间的国际法适用问题系列文章：

《网络数据安全管理条例（征求意见稿）》系列文章：

《数据安全法》的相关文章包括：

赴美上市的网络、数据安全方面的两国监管乃至冲突方：

个性化广告或行为定向广告（behavioral targeting advertising）系列的文章：

内容安全方面的文章如下：

第29条工作组/EDPB关于GDPR的指导意见的翻译：

数字贸易专题系列：

关于中国数据出境安全管理制度的文章

美国方面的个人信息保护立法的文章：

关于印度的数据保护和数据治理政策和技术文件的文章有：

关于数据的安全、个人信息保护、不正当竞争等方面的重大案例：

围绕供应链安全，本公众号曾发表文章：

围绕着出口管制，本公众号曾发表文章：

本公号发表过的关于数据执法跨境调取的相关文章：

关于保护网络和信息系统安全的相关文章包括：

围绕着TIKTOK和WECHAT的总统令，本公号发表了以下文章：

地缘政治与跨国科技公司运营之间的互动影响：

关于我国数据跨境流动监管体制变革的系列文章：

人脸识别系列文章：

针对审计在数据安全、个人信息保护、AI安全的作用与落地实操，本公众号发布过的文章：

关于中国的网络安全审查制度，本公号发表过的文章：

关于个人信息安全影响评估的文章如下：

关于欧洲的人工智能监管方面的立法、政策和实践方面的文章

通过技术增强对个人信息的保护，本公号曾经发表的文章包括：

关于我国《个人信息保护法》的立法和执法，本公号发表的相关文章包括：

关于业务场景中数据跨境流动的文章如下：

关于AI与标准化工作，本公号发表的文章：

关于新加坡数字化（包括个人信息、网络安全、人工智能等）方面的改革，本公号发表的文章：

关于健康医疗数据方面的文章有：

关于数据要素治理的文章有：

针对美国的人工智能监管政策发展，本公众号发表过如下文章：

关于我国对人工智能技术和应用的监管发展，本公号发布过以下文章：

关于数据抓取和公开数据保护，本公号发布过以下文章：

关于域外在数据、电信、外国投资方面所建立的国家安全相关的审查机制，本公号发布过以下文章：

关于人工智能安全和监管，本公号发布过以下文章：

关于欧盟技术主权相关举措的翻译和分析：

文章来源: https://mp.weixin.qq.com/s?__biz=MzIxODM0NDU4MQ==&mid=2247506432&idx=1&sn=ddb2b818c020739b2b004f3cfcb69a91&chksm=97e967eaa09eeefc9023ae78007b8295e56b81a367336405b00fd9e2494d207b2d3cf1fc0ba7&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh