deepseek发展史
2023年07月
DeepSeek(深度求索)由幻方量化创始人梁文锋于2023年7月在杭州创立,是一家专注于人工智能大模型研发的中国初创公司。公司成立背景源于幻方量化在金融领域积累的算力资源和AI技术基础,其初始团队约百人,核心成员来自国内外顶尖高校和科技企业。据资料显示,公司成立之初便确立了‘以技术突破推动AGI普惠’的愿景,并选择从大语言模型切入。创始人梁文锋曾公开表示,团队更关注基础研究和原始创新,而非短期商业化。公司总部位于杭州,并依托幻方量化此前建设的万卡级GPU集群(包括英伟达A100等)作为算力支撑,这为后续模型训练提供了硬件保障。DeepSeek的成立被视为中国AI大模型创业浪潮中的重要事件,其独特之处在于背靠量化基金,具备充裕资金和算力储备,同时以极低成本探索高效模型训练路径,这一模式在业内引发广泛关注。
2023年11月
DeepSeek发布了其首个大语言模型DeepSeek Coder(代码生成模型),该模型基于开源代码数据进行训练,支持多种编程语言,并在代码补全、修复等任务上表现出色。据资料显示,DeepSeek Coder的初始版本包含1.3B、6.7B和33B等参数规模,其中33B模型在HumanEval基准测试中的通过率达到约74.6%,接近当时OpenAI Codex等商业模型水平。该模型的发布标志着DeepSeek正式进入AI大模型竞争赛道,其特点在于完全开源(采用宽松的MIT许可证),允许学术和商业免费使用,这与中国其他大模型公司(如百度、阿里)的闭源策略形成对比。DeepSeek Coder的训练数据来自GitHub等公开代码仓库,并经过严格过滤以去除敏感信息。该产品在开发者社区获得积极反响,尤其是其‘代码数据占比高’和‘长上下文支持’(8K token)等特性,为后续通用模型的开发积累了技术经验。有观点认为,此次发布是DeepSeek‘以开源生态撬动市场’策略的首次尝试。
2023年11月
紧随Coder发布后,DeepSeek推出了首个通用大语言模型DeepSeek LLM(包含7B和67B参数版本),该模型基于2万亿token的高质量中文和英文数据训练,支持多轮对话、内容生成等任务。据资料显示,DeepSeek LLM 67B在MMLU基准测试中得分约63.4%,在中文C-Eval基准上得分约70.3%,性能对标当时国际主流模型(如LLaMA 2 70B)。该模型的训练采用自研的MoE(混合专家)架构预研,但初始版本仍为稠密模型。其训练数据来源包括网页、书籍、学术论文等,并特别强化了中文语料占比。DeepSeek LLM的发布进一步巩固了公司‘高性能、低成本、开源’的定位,其论文中详细披露了训练细节和超参数,这在业内被视为开放研究精神的体现。同时,该模型在推理效率上进行了优化,支持8K上下文窗口。有观点认为,DeepSeek LLM的快速迭代(距成立仅4个月)得益于幻方量化储备的算力资源和工程团队的高效协作,但模型在复杂推理和事实准确性上仍存在局限。
2024年02月
DeepSeek发布了DeepSeekMath,一个专门针对数学推理的开源大模型,基于DeepSeek LLM 7B继续训练,并利用大规模数学语料(含代码和自然语言)进行强化。据资料显示,DeepSeekMath 7B在竞赛级数学基准(如MATH)上得分约51.7%,在GSM8K上得分约82.5%,显著超越同尺寸模型(如LLaMA 2 7B),甚至接近部分70B级模型。其训练方法创新性地引入了‘自采样-批评-修正’的迭代强化学习框架,即模型生成多种解题路径,自我评估并筛选正确答案,这提高了推理的可靠性和多样性。该模型完全开源,并提供免费API供研究使用。DeepSeekMath的发布体现了DeepSeek在垂直领域(数学推理)的技术深耕,其论文详细描述了数据构建流程(包括爬取Math Stack Exchange等)和训练策略。有观点认为,这一成果为后续多模态和复杂推理模型的开发奠定了基础,同时其开源策略也吸引了全球数学AI研究者的关注,促进了社区协作。
2024年05月
DeepSeek发布了DeepSeek-V2,这是一个采用MoE(混合专家)架构的大语言模型,总参数量为236B,但激活参数仅约21B,显著降低了推理成本。据资料显示,DeepSeek-V2在MMLU上得分约78.5%,在中文C-Eval上得分约81.2%,性能对标GPT-4等闭源模型,但其训练成本远低于同类(据估算,训练仅需约数百万美元)。该模型引入了自研的DeepSeekMoE架构,通过细粒度专家分割和共享专家机制,提升了专家利用率,并采用Multi-head Latent Attention(MLA)压缩KV缓存,使推理速度提升约2倍。DeepSeek-V2的发布在业内引起巨大震动,因为其‘低成本+高性能’的组合打破了‘大模型必须昂贵’的惯例,其技术报告详细披露了架构设计和训练细节。该模型提供开源权重(MIT许可证),并开放API,定价远低于GPT-4(输入每百万token仅1元人民币)。有观点认为,DeepSeek-V2标志着中国AI大模型在技术创新上达到了国际前沿,其效率优化思路引发了全球对‘稀疏激活’模型的重新关注。
2024年12月
DeepSeek发布了DeepSeek-V3,这是一个拥有671B总参数和约37B激活参数的MoE模型,训练使用了14.8万亿token的数据,据资料显示,其训练成本仅为557万美元(约4000万人民币),远低于同类模型(如GPT-4训练成本估算超过1亿美元)。DeepSeek-V3在多项基准测试中表现出色,MMLU得分约88.5%,HumanEval代码生成得分约82.6%,数学推理(MATH-500)得分约90.2%,性能全面对标甚至超越GPT-4o和Claude 3.5。该模型采用FP8混合精度训练,优化了通信和计算重叠,并引入多token预测(MTP)技术提升训练效率。其发布论文详细描述了训练过程中的工程挑战和解决方案,包括无损失平衡的负载均衡策略。DeepSeek-V3完全开源,并免费开放API(限时活动),其低成本训练和高性能表现引发了全球AI界的广泛讨论,被视为‘AI民主化’的重要里程碑。有观点认为,这一成果证明了算法优化和工程创新可以大幅降低大模型研发门槛,对行业传统‘算力军备竞赛’模式构成挑战,同时其开源策略也吸引了大量开发者和企业采用。
2025年01月
DeepSeek正式发布DeepSeek-R1,这是其首个大规模推理模型,采用强化学习(RL)技术,无需大量人工标注数据即可提升复杂推理能力。据资料显示,DeepSeek-R1在数学、代码、科学问答等任务上的表现接近OpenAI o1,例如在AIME 2024数学竞赛上得分约79.8%,在Codeforces编程竞赛中达到前5%水平。该模型的核心创新在于‘纯强化学习’训练路径,通过规则自动生成正确性信号,引导模型自主探索思维链(CoT),并提出了‘冷启动’(使用少量高质量CoT数据预训练)和‘多阶段RL’等方法。DeepSeek-R1不仅开源模型权重,还公开了完整的技术报告和训练细节,这在业界极为罕见,因为推理模型的内部机制通常被视为商业机密。其发布引发了全球AI研究者的极大关注,许多学术机构基于R1进行二次开发。有观点认为,R1的成功证明了‘强化学习+大模型’在推理任务上的巨大潜力,也标志着DeepSeek从‘追随者’转变为‘创新引领者’,其开源策略可能促使OpenAI等公司调整技术保密政策,推动整个行业向更开放的方向发展。