大模型
DeepSeek-V4-Flash-0731 本地部署硬件方案实测数据全记录
模型先看一眼
2026年7月31日，DeepSeek把V4-Flash升级为正式版。核心参数：
- 总参数：2840亿，MoE架构，每次推理激活约130亿
- 上下文窗口：100万token
- 原生格式：96%的路由专家权重为MXFP4（量化感知训练），剩余4%为FP8/BF16
- 无损Q8 GGUF体积：162GB
- 官方FP8检查点：约155-176GB
Unsloth的UD-Q8_K_XL量化经逐张量校验，1328个张量与官方权重完全一致，KL散度≈0，top token一致率100%。简单说：162GB的Q8就是无损版。
各方案实测数据
方案一：2× RTX PRO 6000（96GB）
目前消费级性能天花板。两张卡共192GB显存，原生支持Blackwell SM120的FP8/MXFP4矩阵运算。GitHub上有完整部署方案，实测数据：
| 配置 | 单流解码速度 |
|---|---|
| Eager模式，无优化 | 17.8 tok/s |
| 分段CUDA Graphs | 77.1 tok/s |
| + 调优GEMM配置 + Triton Indexer | 94.8 tok/s |
| FULL_AND_PIECEWISE Graphs | 109.3 tok/s |
| DSpark推测解码(k=3) | 193.2 tok/s |
| Marlin W4A16 MoE后端 | 202.7 tok/s |
50万token长上下文实测：预填1.9分钟（平均4339 tok/s），解码66 tok/s。512k上下文可用CUDA Graphs，1M可用Eager模式。
重要提醒：这套方案"开箱即用"四个字不存在的。需要打13个补丁、调优Triton内核、处理vLLM和flashinfer的兼容性问题。没有Linux内核调试经验的人慎重。
成本：单卡3-5万元，双卡6-10万。
方案二：4× CMP 170HX
最离谱但也最惊艳的方案。CMP 170HX是NVIDIA的矿卡--GA100核心，解锁后64GB HBM2e显存，带宽约1.6TB/s，PCIe Gen2 x4，无P2P。2026年8月单卡约$1100-1200。四卡总成本约3.1-3.4万人民币。
| 指标 | 数值 |
|---|---|
| 解码速度 | 98 tok/s |
| 预填速度 | ~5300 tok/s |
| 上下文 | 1,047,736 token（满血1M） |
硬性限制：必须4张卡，3张跑不起来（Marlin MXFP4专家重打包失败），2张装不下140GB权重。显卡必须解锁VRAM，nvidia-smi要显示65536 MiB而非8192 MiB。这套方案是给愿意折腾的人准备的。矿卡没有显示输出，PCIe链路被砍过，驱动和散热全是坑。
方案三：2× DGX Spark（GB10）
NVIDIA官方的小型AI工作站，单台128GB统一内存，通过200G QSFP56 RoCE直连。实测数据汇总：
| 来源 | 配置 | 单流速度 | 聚合吞吐 |
|---|---|---|---|
| elsung/bench | 官方FP8, TP=2 | ~41 tok/s | ~350 tok/s @ c=32 |
| r0b0tlab | 官方FP8, TP=2, MTP | 38.4 tok/s | 144.6 @ c=16 |
| tonyd2wild | DSpark推测解码 | ~62.5 tok/s | - |
| canada-quant | W4A16-FP8量化 | 14-17 tok/s | - |
单台DGX Spark跑ds4引擎的IQ2_XXS量化版约14 tok/s。双机FP8方案的预填速度约1785 tok/s。
上下文：fp8 KV cache配合gpu_memory_utilization=0.80，单流可支持约96万token。1M上下文有实测验证。
成本：单台约$4699（已涨价17.5%），双机套装约6.6万+人民币。
方案四：Framework 192GB 统一内存主机
2026年7月AMD Advancing AI大会上预览。搭载Ryzen AI Max+ PRO 495（16核Zen 5，5.2GHz）+ Radeon 8065S（40CU，3.0GHz），192GB LPDDR5X，带宽273GB/s。官方宣称可单机以Q8精度（162GB）运行DeepSeek-V4-Flash。
状态：尚未公布正式售价和发售日期。受内存涨价影响，预计售价超$5000。参考128GB版本已从$1999涨至$3449。
扩展能力：通过双50GbE网卡实现RDMA over Ethernet集群，两台设备可池化384GB内存并支持张量并行。
方案五：铭凡 MS-S1 MAX 集群
搭载AMD Ryzen AI Max+ 395（16核Zen 5，最高5.1GHz，40CU Radeon 8060S），128GB统一内存。四机集群通过高速接口互联，组成512GB统一内存池，可流畅运行671B参数模型。对比传统5U RTX 5090服务器，成本降低77%，功耗降低80%以上，体积仅35L。
双机集群跑DeepSeek-V4-Flash的公开性能数据目前缺失。单机在120B参数模型测试中约35 tok/s。
成本：128GB版本参考价约1.5万元/台，双机约3万元。
方案六：Mac Studio（M2 Ultra, 192GB）
ds4.c引擎实测：
| 指标 | 数值 |
|---|---|
| 解码速度 | 29.7 tok/s |
| 预填速度 | 389 tok/s |
| 限制 | 单流only，无多并发 |
256GB版本因全球DRAM短缺已从苹果官网下架，目前最高仅96GB。256GB何时恢复不确定。
各方案横向对比
| 方案 | 参考成本 | 单流解码 | 预填速度 | 最大上下文 | 备注 |
|---|---|---|---|---|---|
| 2× RTX PRO 6000 | 6-10万 | 202.7 tok/s | 4339 tok/s | 512k-1M | 需13个补丁，折腾门槛高 |
| 4× CMP 170HX | 3.1-3.4万 | 98 tok/s | ~5300 tok/s | 1M | 矿卡，必须4张，需解锁VRAM |
| 2× DGX Spark | 6.6万+ | 38-62 tok/s | ~1785 tok/s | ~960k | 官方方案，生态成熟 |
| Framework 192GB | 预计$5000+ | 待测 | 待测 | 待测 | 未发售，单机最简洁 |
| 铭凡 MS-S1 MAX×2 | ~3万 | 待测（单机~35） | 待测 | 待测 | 性价比最高，集群已验证 |
| Mac Studio M2 Ultra | 3-5万 | 29.7 tok/s | 389 tok/s | 单流 | 256GB已下架 |
几个值得注意的细节
1. 关于RTX 4090
RTX 4090和5090没有原生FP8硬件加速，FP8量化在这些卡上反而不如INT4快--实测4090跑FP8比INT4慢了12%。单卡24GB跑NVFP4量化版约2.3 tok/s。4×4090（96GB总显存）跑Q2_K + Q4 KV约28-29 tok/s。
2. CMP 170HX的驱动坑
NVIDIA驱动版本从580.142升级到580.159.03后，DGX Spark的吞吐量下降约3.5倍。回滚驱动可恢复。这种驱动级别的坑在DGX Spark上出现过，在CMP 170HX这种非官方卡上只会更多。
3. 软件栈决定一切
2×RTX PRO 6000方案打出202 tok/s的成绩，靠的是13个vLLM补丁 + 定制Triton内核 + Marlin W4A16 MoE后端。同样的硬件，eager模式只有17.8 tok/s。差距超过10倍。DGX Spark的38.4->62.5 tok/s提升来自推测解码。CMP 170HX的98 tok/s来自流水线并行 + DSpark推测解码的组合。
怎么选
- 预算充足、愿意折腾、追求极致性能：2× RTX PRO 6000。202 tok/s的数据目前没有对手。但请做好打13个补丁的心理准备。
- 预算有限、动手能力强：4× CMP 170HX。3万多人民币换98 tok/s，性价比极高。但矿卡有矿卡的风险--散热、供电、驱动全是变量。
- 想要官方方案、不想太折腾：2× DGX Spark。41 tok/s单流 + 350聚合吞吐，社区有完整recipe。贵，但省心。
- 愿意等、想要单机最简方案：Framework 192GB。单机跑Q8无损版，不需要多卡并行的一切麻烦。但价格和发售日都还没定。
- 预算最紧、愿意探索：铭凡MS-S1 MAX双机集群。3万左右，四机集群跑671B已有官方验证。双机跑V4-Flash的性能数据缺失，但硬件潜力摆在那。
- Mac用户：M2 Ultra 192GB跑29.7 tok/s。256GB版本已下架，下一代Mac Studio遥遥无期。现阶段不推荐作为主要目标。
硬件只是入场券，软件优化才是决定性能的关键。