DeepSeek-V4 技术解析：通向百万 token 上下文的高效智能 • wth2jhl.online

一、背景#

推理模型（DeepSeek-AI, 2025; OpenAI, 2024c）的出现确立了测试时扩展的新范式，为大型语言模型（LLM）带来了显著的性能提升。然而，这种扩展范式受到 vanilla 注意力机制（Jaswani et al., 2017）二次计算复杂度的根本制约，在超长上下文和推理过程中造成了难以逾越的瓶颈。

同时，长程场景和任务的出现——从复杂的代理工作流到大规模跨文档分析——也使得高效支持超长上下文成为未来发展的关键。尽管最近的开源努力（Bai et al., 2025a; DeepSeek-AI, 2024; MiniMax, 2025; Qwen, 2025）推动了通用能力的进步，但在处理超长序列方面的核心架构低效问题仍然是一个关键障碍。

为了打破超长上下文中的效率壁垒，DeepSeek 开发了 DeepSeek-V4 系列模型。

二、模型概述#

DeepSeek-V4 系列包含两个强大的专家混合（MoE）语言模型：

模型	总参数量	激活参数量	上下文长度
DeepSeek-V4-Pro	1.6T	49B	1M tokens
DeepSeek-V4-Flash	284B	13B	1M tokens

核心性能突破#

在 100万 token 上下文场景下：

DeepSeek-V4-Pro 仅需 DeepSeek-V3.2 单 token 推理 FLOPs 的 27%，KV Cache 的 10%
DeepSeek-V4-Flash 更是仅需 DeepSeek-V3.2 单 token 推理 FLOPs 的 10%，KV Cache 的 7%

这种突破性的效率提升，使得百万 token 上下文成为可能。

三、核心架构创新#

3.1 混合注意力： CSA + HCA#

DeepSeek-V4 设计了两种高效的注意力架构：

CSA（Compressed Sparse Attention，压缩稀疏注意力）#

将每 m 个 token 的 KV Cache 压缩为 1 个条目
然后应用 DeepSeek 稀疏注意力（DSA），每个 query token 只关注 k 个压缩后的 KV 条目
结合滑动窗口 KV 条目，增强局部细粒度依赖

HCA（Heavily Compressed Attention，重度压缩注意力）#

对 KV Cache 进行更激进的压缩
将每 m’（远大于 m）个 token 合并为 单个条目
追求极致压缩效率

这种 CSA 和 HCA 的混合配置，显著提升了 DeepSeek-V4 的长上下文效率，使百万 token 上下文在实际应用中变得可行。

3.2 流形约束超连接（mHC）#

DeepSeek-V4 引入了 Manifold-Constrained Hyper-Connections (mHC)，用于增强传统残差连接。

核心思想#

标准 HC 将残差流的宽度扩展 nhc 倍（从 R^d 扩展到 R^{nhc × d}），但发现堆叠多层时训练会出现数值不稳定问题。

mHC 的核心创新是将残差映射矩阵 B_l 约束到双随机矩阵流形（Birkhoff 多面体）上：

$B_l \in M \triangleq \{ M \in \mathbb{R}^{n \times n} | M \mathbf{1}_n = \mathbf{1}_n, \mathbf{1}_n^T M = \mathbf{1}_n^T, M \geq 0 \}$

这个约束确保映射矩阵的谱范数有界（≤ 1），使得残差变换是非扩张的，从而在正向传播和反向传播中都增加了数值稳定性。

3.3 Muon 优化器#

DeepSeek-V4 采用了 Muon（Jordan et al., 2024; Liu et al., 2025）优化器，相比传统优化器具有更快的收敛速度和更好的训练稳定性。

四、预训练#

4.1 数据规模#

DeepSeek-V4-Flash: 在 32T tokens 上训练
DeepSeek-V4-Pro: 在 33T tokens 上训练

4.2 继承自 DeepSeek-V3 的设计#

专家混合（MoE）#

DeepSeek-V4 系列采用 DeepSeekMoE 架构，包含细粒度路由专家和共享专家。与 DeepSeek-V3 的主要区别：

将计算亲和度得分的激活函数从 Sigmoid(·) 改为 Sqrt(Softplus(·))
采用了无辅助损失的自由策略进行负载均衡
用 MoE 层替换了初始几个 Transformer 块的密集 FFN 层

多 token 预测（MTP）#

沿用 DeepSeek-V3 的 MTP 策略，保持配置不变。

五、后训练#

DeepSeek-V4 的后训练采用两阶段范式：

第一阶段：专家培养#

针对每个目标领域（如数学、编码、代理、指令遵循）独立训练专家模型：

Supervised Fine-Tuning (SFT)：在高质量领域特定数据上进行 SFT，建立基础能力
Reinforcement Learning (RL)：使用 GRPO 进一步优化模型

第二阶段：统一整合#

通过on-policy 蒸馏（Lu and Lab, 2025）将多个专家的能力整合到单一统一模型中。

六、核心评测结果#

知识能力#

在通用世界知识评估（SimpleQA）和教育知识评估（MMLU-Pro、HLE、GPQA）中，DeepSeek-V4-Pro-Max 显著超越领先的开源模型，与 Gemini-3.1-Pro 的差距已大幅缩小。

推理能力#

DeepSeek-V4-Pro-Max 在标准推理基准测试中表现出优于 GPT-5.2 和 Gemini-3.0-Pro 的性能，但在复杂推理任务上仍与 GPT-5.4 和 Gemini-3.1-Pro 有一定差距。

Agent 能力#

在公开基准测试上与 Kimi-K2.6、GLM-5.1 等领先开源模型相当，在内部评估中超越 Claude Sonnet 4.5。

长上下文#

在百万 token 上下文窗口的合成和实际用例中表现强劲，在学术基准测试上甚至超越 Gemini-3.1-Pro。

七、效率分析#

下图展示了 DeepSeek-V4 系列与 DeepSeek-V3.2 在推理 FLOPs 和 KV Cache 大小上的对比：

可以看到，在 1M token 上下文设置下，DeepSeek-V4-Pro 的效率提升是惊人的：

单 token 推理 FLOPs: 仅需 DeepSeek-V3.2 的 27%
KV Cache 大小: 仅需 DeepSeek-V3.2 的 10%

八、总结#

DeepSeek-V4 是通向高效百万 token 上下文智能的重要里程碑，其核心创新包括：

混合注意力架构：CSA + HCA 的组合实现了长上下文场景下的极致效率
mHC 流形约束超连接：增强了跨层的信号传播稳定性
Muon 优化器：带来更快的收敛速度和更好的训练稳定性
两阶段后训练范式：专家培养 + on-policy 蒸馏

这些技术创新使得在消费级硬件上运行百万 token 上下文成为可能，为长程任务和测试时扩展的进一步探索铺平了道路。

📎 附件下载：DeepSeek-V4 技术报告（原始 PDF）

参考资料：