关于审(shěn)时(shí)度(dù)势(shì)这又是什么梗?

　　1月20日，国内大模型公司深度求索（DeepSeek）在其公众号公布了新一代开源大模型DeepSeek-R1，该模型号称在数学、代码、自然语言推理等任务上，性能比肩美国OpenAI公司最新的o1大模型正式版。

　　其中，与深度求索上月发布的大模型DeepSeek-V3相比，DeepSeek-R1在AIME 2024和Codeforces中的得分提升了近一倍，而其余项均有不同程度的提升。

　　深度求索还更新了用户协议，明确模型开源License将统一使用标准的MIT许可，同时还允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。按照深度求索数据显示，在以DeepSeek-R1基础上进行“蒸馏”的6个小模型中，32B和70B模型在多项能力上都实现了对标OpenAI的o1-mini 的效果。

　　面对这个令人瞩目的成绩，深度求索则解释称，DeepSeek-R1 后训练阶段中大规模使用了强化学习（RL）技术，在仅有极少人工标注数据的情况下，极大提升了模型推理能力。这意味着该模型几乎跳过了监督微调（SFT）步骤，就实现了推理能力自我提升。

　　通常情况下，强化学习的好处是可以通过与外界评价反馈，不断让模型自我优化，生成更符合人类偏好的内容。而监督微调则是指在预训练使用人工标注的数据进行干预，可以让生成的内容更准确且符合预期，这也是当年ChatGPT成功的关键。但从成本上来说，强化学习虽然需要大量人类反馈，且训练复杂计算成本高，但监督微调则非常依赖高质量的人工标注数据。

　　值得注意的是，目前深度求索向用户提供的仅有DeepSeek-R1版本，而在其公开测试结果中却透露了另一个大模型 —— DeepSeek-R1-Zero。该模型完全通过大规模使用强化学习替代了监督微调，但也导致了一些问题，因此未对外公开。

　　更重要的是，工作人员发现，在DeepSeek-R1-Zero自我学习的过程，随着时间的增加，该模型“涌现”出了复杂的行为，如自我反思、评估先前步骤、自发寻找替代方案的情况，还包括一次“尤里卡时刻”（“aha moment）。

　　深度求索透露，这次“尤里卡”发生在DeepSeek-R1-Zero的的中间版本期间。当时工作人员惊奇地发现，在一道数学题中，该模型学会了使用拟人化的语气进行自我反思，并主动为问题分配了更多地时间进行重新思考。

　　深度求索称，工作人员并没有教DeepSeek-R1-Zero如何解决问题，只是提供了正确的激励，它就能自主发展出先进的问题解决策略。“这次尤里卡也提醒我们，强化学习有可能为人工智能解锁新的智能水平，为以后发展出更自主和适应性的模型铺平道路。”

　　不过，虽然DeepSeek-R1-Zero展示出了强大的推理能力，但自身也出现了一些语言混乱及可读性的问题，因此深度求索通过引入数千条高质量的冷启动数据和多段强化学习来解决这些问题，并获得了上文中对外正式公布的DeepSeek-R1大模型。