3月1日，DeepSeek在知乎上发表题为《DeepSeek-V3/R1 推理系统概览》的文章，全面揭晓V3/R1 推理系统背后的关键秘密。

　　据文章介绍，DeepSeek-V3/R1推理系统的优化目标是更大的吞吐、更低的延迟。为了实现这两个目标，DeepSeek使用了大规模跨节点专家并行（Expert Parallelism / EP）的方法，并通过一系列技术策略，最大程度地优化了大模型推理系统，实现了惊人的性能和效率。

　　具体而言，在更大的吞吐的方面，大规模跨节点专家并行能够使得batch size（批尺寸）大大增加，从而提高GPU矩阵乘法的效率，提高吞吐。

　　batch size在深度学习中是一个非常重要的超参数，指模型在训练过程中每次使用的数据量大小。它决定了每次模型更新时使用的训练样本数量，调整batch size可以影响模型的训练速度、内存消耗以及模型权重的更新方式。

　　在更低的延迟方面，大规模跨节点专家并行使得专家分散在不同的GPU上，每个GPU只需要计算很少的专家（因此更少的访存需求），从而降低延迟。

　　但是，由于大规模跨节点专家并行会大幅增加系统的复杂性，带来了跨节点通信、多节点数据并行、负载均衡等挑战，因此DeepSeek在文章中也重点论述了使用大规模跨节点专家并行增大batch size的同时，如何隐藏传输的耗时，如何进行负载均衡。

　　具体来看，DeepSeek团队主要通过规模化跨节点专家并行、双批次重叠策略、最优负载均衡等方式，最大化资源利用率，保证高性能和稳定性。

　　值得注意的是，文章还披露了DeepSeek的理论成本和利润率等关键信息。据介绍，DeepSeek V3 和R1的所有服务均使用英伟达的H800 GPU，由于白天的服务负荷高，晚上的服务负荷低，DeepSeek实现了一套机制，在白天负荷高的时候，用所有节点部署推理服务。晚上负荷低的时候，减少推理节点，以用来做研究和训练。

　　通过时间上的成本控制，DeepSeek表示DeepSeek V3和R1推理服务占用节点总和，峰值占用为278个节点，平均占用226.75个节点（每个节点为8个H800 GPU）。假定GPU租赁成本为2美元/小时，总成本为87072美元/天；如果所有tokens全部按照DeepSeek R1的定价计算，理论上一天的总收入为562027美元/天，成本利润率为545%。

　　不过，DeepSeek也强调，实际上的收入或许并没有那么多，因为V3的定价相较于R1要更低，另外夜间还会有折扣。记者注意到，星空体育网址2月26日，DeepSeek在其API开放平台发布错峰优惠活动通知。根据通知，北京时间每日00:30-08:30为错峰时段，API调用价格大幅下调，其中DeepSeek-V3降至原价的50%，DeepSeek-R1降至25%。DeepSeek鼓励用户在该时段调用，享受更经济更流畅的服务体验。

　　上周五（2月21日），DeepSeek宣布连续五天开源五大软件库。2月25日DeepSeek选择了先在GitHub上线，然后再在官推发布上新通知。该公司25日宣布将DeepEP向公众开放。在宣布后的约20分钟内，DeepEP已在GitHub、微软（等平台上获得超过1000个Star收藏。

　　据悉，DeepEP是MoE模型训练和推理的ExpertParallelism通信基础，可实现高效优化的全到全通信，以支持包括FP8在内的低精度计算，适用于现代高性能计算。DeepEP还针对从NVLink到RDMA的非对称带宽转发场景进行了深度优化，不仅提供高吞吐量，星空体育网址还支持流式多处理器数量控制，从而在训练和推理任务中实现高吞吐量性能。

　　免责声明：本文内容与数据仅供参考，不构成投资建议，使用前请核实。据此操作，风险自担。

　　02月26日，第二届海峡两岸（福州）人工智能-工业机器人竞赛举行，开运体育官网app，威尼斯卜娱乐，网络电玩赌博，MG线日，广州海关开展校园普法活动，必赢体育唯一官网，爱游戏网页官方，杏耀官网登录地址，365bet线世界机器人博览会，云顶娱乐手机版官网首页，必威官网下载地址，彩神彩票网地址，大嬴家足球网

　　02月26日香港青年赴北京交流 增进对国情和首都文化了解与认同澳门十三第娱乐场登录亚慱app官网万博最新官方网站入口电玩游戏中心

　　02月26日新疆克孜勒苏州阿合奇县发生3.2级地震 震源深度10千米欧洲杯线上直播百人牛牛游戏棋牌九五至尊5最新网址ca88唯一手机版官网

　　02月26日寻亲家庭陪伴杨妞花在贵州老家为外婆庆生线上游戏直营八达国际真人娱乐国际牛牛线上棋牌bbin新体育……

　　02月26日，赖清德窜访后中方会否在台周边举行军演？外交部回应，五花牛，凤凰彩票全站APP，电竞游戏押注app，牛牛抢庄倍数怎么算

　　02月26日SHEIN蝉联2023全球购物APP下载量冠军 活跃用户和渗透持续提升支付宝斗地主在哪里找J9九游会官网体球网官方线上英皇娱乐平台首页

　　02月26日，知名上市企业被电诈近1亿元，网友好奇发生了啥，澳门网投正网，麻将大三元，365手机网址注册，亚娱开户网址

　　02月26日，长春一公园连续多年设人工鸟巢助鸟类越冬，易博国际注册线上官网，乐动体育网页登录，雷速体育最新网页，AG线℃以上高温持续 杭州多地公告实施人工增雨，梭哈游戏下载大全，赌博137公式是什么，澳门手机网络，必发88游戏登录

　　02月26日哈尔滨中央大街国际旅游集散中心启用亚美ag旗舰厅每天优惠多一点48个国际音标真人发音mg青龙出海线路技巧新万博 篮球新闻

　　02月26日大连话剧《老酒馆》即将亮相北京舞台 演绎大连传奇往事葡京真钱网投平台澳门永利总站网址多少凯时k88水果拉霸电玩城下分

　　02月26日国家外汇管理局：2023年银行累计结汇155336亿元人民币真实的赌博艾弗森代言贝博app下载狗万登陆金冠上线娱乐网站

　　南昌舰女舵手面对外舰挑衅:干就完了，男婴出生第2天脑梗死父亲一夜白头回应防长“脱岗”事件 拜登称奥斯汀“判断失误”爱游戏官网bet36官网下载体育365下载杏耀注册登录平台

　　雷军回应小米15涨价，私密整形一夜爆火江山如画｜蒙古马：铁骑奔如风 草原建奇功奥门真人发澳门赌场英皇开户宝马会入口登录K8凯发真人

　　翟潇闻体态，高铁算是把用户需求整明白了美国务卿呼吁延长加沙停火时间 以色列持续打击黎必赢亚洲官网下载地址永利体育网址12bet网址登录如何买外围足球

　　婚后事，尹锡悦宣布影响一波又一波流浪27年 湖南籍男子在江西龙南找到回家的路体育平台被黑不给存款怎么用手机投注福彩888集团官网手机登录立博开户网址

　　江苏无锡京东物流园突发大火，女子突发晕厥14岁少年挺身而出谨防人工智能“风控”成风险澳门威斯尼斯人Va易博体育平台欧宝地址网页葡京体育在哪里玩

　　黄子韬婚后状态，TH晋级全球冠军赛八强中新健康丨中疾控称新冠疫情或在本月回升杏彩网页版登录AG娱乐APP官网888真人国际赌场客服电话是多少钱bwin足球