DeepSeek 发布 V4 预览版，同步开源。公告里有一句话：

" 从现在开始，1M（一百万）上下文将是 DeepSeek 所有官方服务的标配。"

OpenAI 和 Google 早就支持超长上下文了。问题是成本。Transformer 注意力机制的计算量随序列长度平方增长——序列翻倍，算力变四倍——处理 100 万 token 在传统架构下几乎无法商业化。

技术报告给出了这次架构改动的幅度：在1M token 场景下，V4-Pro 的单 token 推理 FLOPs 只有 V3.2 的 27%，KV 缓存用量只有 10%。

两把刀

标准 Transformer 的自注意力，要让每个 token 跟序列里所有其他 token 算相关性权重。这是平方复杂度，结构性的，不是工程调优能解决的。

过去的应对方式大体分两类：要么切掉计算范围（滑动窗口只看局部邻居，全局感知随之消失），要么绕开长文本本身（RAG 先检索再喂给模型，检索质量成为新的上限）。还有固定稀疏注意力，人工设计稀疏模式来跳过部分计算，但模式是死的，不同任务的信息分布差异大，泛化能力有限。

V4 的方案是 CSA + HCA 混合注意力架构。

CSA（Compressed Sparse Attention）解决的是 " 算什么 "。用轻量级索引器先对所有 token 对做粗筛，快速估算相关性排序，再精选出需要完整计算的 token 集合。关键在于这套稀疏结构是可训练的——模型在训练过程中自己学出哪里需要高密度注意力，哪里可以稀疏。V3.2 时代的 DSA 是雏形，V4 在此基础上做了进一步演化。

HCA（Heavily Compressed Attention）解决的是 " 存什么 "。在 V3 时代 MLA（Multi-head Latent Attention）的基础上继续推进，把 KV 向量映射到低维潜空间，推理时解压。叠上 FP4+FP8 混合精度—— MoE 专家参数用 FP4，其余用 FP8 —— KV 缓存的显存占用再砍一半。

两者叠加的效果，直接体现在那两个数字：27% 的 FLOPs，10% 的 KV 缓存。换算过来，同等算力下能服务的长上下文并发量大约是原来的 3 到 4 倍。

技术报告里还有两个细节值得记一下。mHC（Manifold-Constrained Hyper-Connections）对残差连接做了流形约束强化，针对的是 1.6T 参数超深度模型训练时跨层信号衰减的问题。Muon 优化器替代了 Adam 系列，基于矩阵正交化更新，在超大规模训练里收敛更快，更稳定—— Adam 在大模型训练里几乎是默认配置，DeepSeek 这次换掉了它。

数字

官方给出了与 Claude Opus 4.6、GPT-5.4 xHigh、Gemini 3.1 Pro High 的全维度横评。

数学和竞赛推理是 V4-Pro 表现最突出的维度。Codeforces 评分 3206，四家最高（GPT-5.4 是 3168，Gemini 和 V4-Flash 都是 3052）。Apex Shortlist 90.2，超过 Opus 4.6（85.9）、GPT-5.4（78.1）、Gemini（89.1）。IMOAnswerBench 89.8，仅次于 GPT-5.4（91.4）。

Agent 能力上，SWE Verified 80.6，Opus 4.6 是 80.8。Toolathlon 51.8，Opus 4.6 是 47.2，GPT-5.4 是 54.6。公告里有一句内部评价：V4 已成为员工 Agentic Coding 的主力模型，" 使用体验优于 Sonnet 4.5，交付质量接近 Opus 4.6 非思考模式 "。

长上下文测评有两个数字要对比着看：MRCR 1M（长文本关键信息检索）83.5，Gemini 是 76.3，Opus 4.6 是 92.9。CorpusQA 1M（长文档精准问答）62.0，Opus 4.6 是 71.7。MRCR 侧重检测关键信息是否存在，CorpusQA 要在百万 token 里精准定位并综合分析——两个测评的分化放在一起，说明的东西自然清楚。

综合知识和科学前沿推理：SimpleQA-Verified 57.9，Gemini 是 75.6。HLE（前沿科学推理超难题集）37.7，四家里最低。

V4-Flash：284B 总参数，13B 激活，约为 Pro 版 18% 的体量，同样支持 1M 上下文和 Think/Think Max 推理模式。官方说简单 Agent 任务上与 Pro" 旗鼓相当 "。

DeepSeek 把这次发布叫 " 预览版 "，技术报告标题里写的是 "Towards" ——朝向，还在路上。CSA 和 HCA 的设计逻辑今天已经公开，稀疏训练机制在不同任务分布下怎么表现，是接下来开源社区会告诉我们的事。

数据来源：DeepSeek 官方公告《DeepSeek-V4 预览版：迈入百万上下文普惠时代》（2026 年 4 月 24 日）；技术报告 DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence