【行业研究报告】-DeepSeek模型综述

推理能力，作为人类认知的核心，对于解决问题和做出推理能力，作为人类认知的核心，对于解决问题和做出决策至关重要，并且在人工智能（AI），尤其是大型语言模型（LLMs）如OpenAI的GPT-4.0、Claude3.5、Llama3.1、Qwen2.5和Gemini2.0[1]–[5]的发展中起着核心作用。这些模型通过在大规模数据集中识别统计模式来逼近推理过程，从而推进自然语言处理（NLP）、代码生成和决策支持的发展，并依赖于带有标注数据的监督微调（SFT）。这一过程计算成本高昂，限制了其更广泛的应用。此外，尽管在一般情境下有效，但在专门任务中，这些模型的表现存在不一致性。多模态模型在空间推理和现实世界物理方面存在问题，而AI辅助的代码生成往往产生语法正确但功能有缺陷的代码，需要人工监督。DeepSeekAI成立于2023年，作为一项研究倡议。为了克服现有局限并推进通用人工智能（AGI），我们优先发展专门模型以提高效率、适应性和领域专业知识［6］。2024年，DeepSeek引入了DeepSeekMixture-of-在2025年，DeepSeek发布了R1Zero，引入了自我验证、反思以及扩展的思维链（CoTs），这是对研究界的一项重要进步。DeepSeek还推出了R1，专门用于数学、编程和逻辑问题解决，以增强自主决策能力和在研究及企业应用中的精确性[12]。Abstract—先进的人工智能（AI）依赖于能够进行类人推理的系统，而传统的大型语言模型（LLMs）在这方面存在局限性，它们在多步逻辑、抽象概念化和隐含关系推断方面表现不佳。DeepSeekAI通过高效计算架构解决了这些挑战，包括DeepSeek混合专家框架（Mixture-of-Experts,MoE），该框架在保持性能的同时降低了推理成本。DeepSeekv3是一种针对指令跟随和推理优化的一般用途LLM，还包括DeepSeekCoder（代码生成和软件工程）、DeepSeekMath（符号和定量推理）、DeepSeekR1-Zero（纯强化学习，无样本精调）以及DeepSeekR1，后者专为跨域问题解决设计，只需最少的微调即可。通过开源硬件无关的实现，DeepSeek扩大了高性能AI的可访问性。本文概述了DeepSeek的架构进步，并将其功能和局限性与当前最先进的LLM进行比较。此外，还探讨了其对AI研究的影响，并详细讨论了未来工作的潜在方向。索引术语-人工智能，类似人类的推理，DeepSeek开源了一套精简模型，优化用于资源受限环境（如边缘计算平台或低内存系统）的部署。这些模型保持了可扩展性和成本效益，进一步扩大了DeepSeek的应用范围，使其先进的AI技术能够适用于多种不同的应用场景。lizes稀疏激活以减少计算开销[7]。随后，DeepSeekCoder作为一系列代码特定模型推出，参数范围从1B到33B，旨在简化软件开发工作流程[8]。DeepSeekMath包含120B数学相关标记，用于处理高级数学和符号推理任务[9]。DeepSeek还推出了V2[10]和V3[11]系列。V2实现了多头潜在注意（MLA）以及包含总计236B参数（21B活跃）的MoE系统。V3是一个开源模型，通过优化计算效率，总参数为671B，每次查询仅激活37B。它在减少资源需求和最小监督数据的情况下表现出色，在复杂推理任务中表现优异。大型语言模型,DeepSeek,DeepSeek混合专家(MoE),DeepSeekV3,DeepSeekR1,DeepSeekR1-Zero