栏目分类

热点资讯

新闻

你的位置:开云·kaiyun体育(中国)官方网站 登录入口 > 新闻 > 开yun体育网针对用于DeepSeek开源的通讯库DeepEP-开云·kaiyun体育(中国)官方网站 登录入口

开yun体育网针对用于DeepSeek开源的通讯库DeepEP-开云·kaiyun体育(中国)官方网站 登录入口

发布日期:2026-04-30 08:40    点击次数:146

开yun体育网针对用于DeepSeek开源的通讯库DeepEP-开云·kaiyun体育(中国)官方网站 登录入口

在DeepSeek为期五天的“开源周”中,其畅通开源的五大中枢技艺(FlashMLA、DeepEP、DeepGEMM、DualPipe & EPLB、3FS文献系统)开yun体育网,惊艳大师。

京东云开首布告完成对这五项技艺的全栈适配,在模子推理成果、算力资源运用率及数据照顾等范畴收场驾驭性优化,空洞Flash MLA、DeepEP、FP8 GEMM、DualPipe四方面的调优,在DeepSeek推理场景下性能培育50%。

全面适配五大技艺,DeepSeek推理场景性能培育50%

行为DeepSeek开源首日的重磅技艺,Flash MLA通过动态养息GPU的显存与算力资源,措置了传统表率处理变长序列时的资源花费问题。

京东vGPU AI算力平台通过因循Flash MLA的FP8花式来培育推感性能,使单Token的 KV Cache显存占用比拟Multi-head Attention缩小57倍,合营最新的投契推理技艺,以极低的显存需求,在高并发恳求场景下保证了推理的微辞量和蔓延施展。

此外,针对用于DeepSeek开源的通讯库DeepEP,京东云vGPU AI算力平台已全面因循EP模式下的散播式推理,显贵提高推理微辞。通过整合DeepEP行为通讯后端,针对机内通讯使用NVLink传输数据,机间通讯使用NVSHMEM接口走RDMA收集,同期通过无邪的GPU SM数目运用适度,增大GPU算力资源运用率以及减少对算筹算子的性能串。

更低资本更高成果,让大模子果真用起来

针对客户大模子的使用需求,京东云vGPU AI算力平台,为用户提供更高推感性能、更多国产芯片适配、更多高数据安全的大模子做事,让大模子果真用起来。

在推感性能方面,针对DeepSeek大模子技艺特色,京东云通过推理加快与内核运行级优化,培育单台做事器推感性能50%。

在国产芯片适配方面,京东云已完成从底层算力到大模子和业务应用的全面国产化适配,包括十余家国产化AI算力,确保自主可控。

在数据安全方面,通过奥秘容器AI全场景密态估计和先进的容器守秘技艺,确保模子数据的奥秘性与齐全性,为用户提供金融级安全守护。

当今,在河南鹤壁、江苏宿迁、山东滨州、广西北海、山西大同开yun体育网,京东云还是助力多地政府基于现存基础要领腹地化部署DeepSeek,既知足腹地政务业务,又让当地企业毋庸干与资源,即可通过政务云调用DeepSeek。



Powered by 开云·kaiyun体育(中国)官方网站 登录入口 @2013-2022 RSS地图 HTML地图

Powered by365建站