3月1日，DeepSeek在知乎上发表题为《DeepSeek-V3/R1 推理系统概览》的文章，全面揭晓V3/R1 推理系统背后的关键秘密。
据文章介绍，DeepSeek-V3/R1推理系统的优化目标是更大的吞吐、更低的延迟。为了实现这两个目标，DeepSeek使用了大规模跨节点专家并行（Expert Parallelism / EP）的方法，并通过一系列技术策略，最大程度地优化了大模型推理系统，实现了惊人的性能和效率。
具体而言，在更大的吞吐的方面，大规模跨节点专家并行能够使得batch size（批尺寸）大大增加，从而提高GPU矩阵乘法的效率，提高吞吐。
batch size在深度学习中是一个非常重要的超参数，指模型在训练过程中每次使用的数据量大小。它决定了每次模型更新时使用的训练样本数量，调整batch size可以影响模型的训练速度、内存消耗以及模型权重的更新方式。
在更低的延迟方面，大规模跨节点专家并行使得专家分散在不同的GPU上，每个GPU只需要计算很少的专家（因此更少的访存需求），从而降低延迟。
但是，由于大规模跨节点专家并行会大幅增加系统的复杂性，带来了跨节点通信、多节点数据并行、负载均衡等挑战，因此DeepSeek在文章中也重点论述了使用大规模跨节点专家并行增大batch size的同时，如何隐藏传输的耗时，如何进行负载均衡。
具体来看，DeepSeek团队主要通过规模化跨节点专家并行、双批次重叠策略、最优负载均衡等方式，最大化资源利用率，保证高性能和稳定性。
值得注意的是，文章还披露了DeepSeek的理论成本和利润率等关键信息。据介绍，DeepSeek V3 和R1的所有服务均使用英伟达的H800 GPU，由于白天的服务负荷高，晚上的服务负荷低，DeepSeek实现了一套机制，在白天负荷高的时候，用所有节点部署推理服务。晚上负荷低的时候，减少推理节点，以用来做研究和训练。
通过时间上的成本控制，DeepSeek表示DeepSeek V3和R1推理服务占用节点总和，峰值占用为278个节点，平均占用226.75个节点（每个节点为8个H800 GPU）。假定GPU租赁成本为2美元/小时，总成本为87072美元/天；如果所有tokens全部按照DeepSeek R1的定价计算，理论上一天的总收入为562027美元/天，成本利润率为545%。
不过，DeepSeek也强调，实际上的收入或许并没有那么多，因为V3的定价相较于R1要更低，另外夜间还会有折扣。记者注意到，2月26日，DeepSeek在其API开放平台发布错峰优惠活动通知。根据通知，北京时间每日00:30-08:30为错峰时段，API调用价格大幅下调，其中DeepSeek-V3降至原价的50%，DeepSeek-R1降至25%。DeepSeek鼓励用户在该时段调用，享受更经济更流畅的服务体验。
上周五（2月21日），DeepSeek宣布连续五天开源五大软件库。2月25日DeepSeek选择了先在GitHub上线，然后再在官推发布上新通知。该公司25日宣布将DeepEP向公众开放。在宣布后的约20分钟内，DeepEP已在GitHub、微软（MSFT.US）等平台上获得超过1000个Star收藏。
据悉，DeepEP是MoE模型训练和推理的ExpertParallelism通信基础，可实现高效优化的全到全通信，以支持包括FP8在内的低精度计算，适用于现代高性能计算。DeepEP还针对从NVLink到RDMA的非对称带宽转发场景进行了深度优化，不仅提供高吞吐量，还支持流式多处理器数量控制，从而在训练和推理任务中实现高吞吐量性能。
每日经济新闻综合自公开信息
免责声明：本文内容与数据仅供参考，不构成投资建议，使用前请核实。据此操作，风险自担。
