新突破！國產(chǎn)算力成功完成萬億級大模型全參數(shù)訓(xùn)練

2026-06-09 09:24:43來源：快科技關(guān)鍵詞：國產(chǎn)算力集群萬億級大模型閱讀量：23461

導(dǎo)讀：DeepSeek-V4-Pro是一款擁有1.6萬億參數(shù)的MoE(混合專家)開源旗艦?zāi)Ｐ停捎昧薈SA＋HCA混合稀疏注意力、mHC連接等創(chuàng)新機(jī)制。本次成果并非單次演示，而是具備可復(fù)現(xiàn)、可工程化交付的萬億級MoE模型國產(chǎn)算力穩(wěn)定訓(xùn)練能力。

　　6月9日消息，據(jù)媒體報(bào)道，日前，深圳河套學(xué)院AI訓(xùn)練平臺項(xiàng)目團(tuán)隊(duì)聯(lián)合哈爾濱工業(yè)大學(xué)（深圳）、深圳市大數(shù)據(jù)研究院、華為GTS（全球技術(shù)服務(wù)）等多家單位，圍繞國產(chǎn)算力大模型訓(xùn)練開展聯(lián)合攻關(guān)。

　　僅用一個(gè)月時(shí)間，項(xiàng)目團(tuán)隊(duì)便基于昇騰910C國產(chǎn)算力集群，成功實(shí)現(xiàn)DeepSeek-V4-Pro的全參數(shù)續(xù)訓(xùn)練與SFT(監(jiān)督微調(diào))穩(wěn)定運(yùn)行。訓(xùn)練累計(jì)完成超過1500步，模型訓(xùn)練MFU(模型算力利用率)超過30%，關(guān)鍵訓(xùn)練算子效率提升約14%。

　　這是業(yè)界首次由第三方機(jī)構(gòu)基于國產(chǎn)算力集群完成的DeepSeek-V4-Pro全參數(shù)后訓(xùn)練工程實(shí)踐，標(biāo)志著國產(chǎn)AI基礎(chǔ)設(shè)施正從推理部署和輕量化微調(diào)邁向超大模型的全參數(shù)后訓(xùn)練新階段。

　　DeepSeek-V4-Pro是一款擁有1.6萬億參數(shù)的MoE(混合專家)開源旗艦?zāi)Ｐ停捎昧薈SA+HCA混合稀疏注意力、mHC連接等創(chuàng)新機(jī)制。相比上一代DeepSeek-V3/R1，它對國產(chǎn)訓(xùn)練框架提出了全方位的“極限挑戰(zhàn)”。

　　經(jīng)過聯(lián)合攻關(guān)，項(xiàng)目已在千卡級昇騰910C國產(chǎn)算力集群上實(shí)現(xiàn)了DeepSeek-V4-Pro全參數(shù)后訓(xùn)練的穩(wěn)定運(yùn)行。

　　模型迭代超過1500步，全程無迭代跳過或NaN異常。關(guān)鍵訓(xùn)練算子效率較初始版本提升約14%，最終MFU穩(wěn)定達(dá)到34.9%，單步訓(xùn)練時(shí)間穩(wěn)定在27秒。團(tuán)隊(duì)同步打通了DeepSeek?V4?Flash的全參數(shù)續(xù)訓(xùn)練與SFT完整鏈路。

　　本次成果并非單次演示，而是具備可復(fù)現(xiàn)、可工程化交付的萬億級MoE模型國產(chǎn)算力穩(wěn)定訓(xùn)練能力。項(xiàng)目已完成工業(yè)級自動化運(yùn)籌建模場景的閉環(huán)驗(yàn)證，證明國產(chǎn)算力能夠在短周期、低成本下完成行業(yè)大模型的專項(xiàng)增強(qiáng)訓(xùn)練。

　　技術(shù)層面，項(xiàng)目實(shí)現(xiàn)了三大突破：一是成功構(gòu)建了覆蓋權(quán)重、梯度、激活、優(yōu)化器狀態(tài)的分布式承載方案，實(shí)現(xiàn)數(shù)據(jù)并行、張量并行、流水并行與專家并行的協(xié)同工作；二是優(yōu)化了MoE路由與稀疏注意力算子，建立了專家負(fù)載均衡機(jī)制，有效緩解通信擁堵與負(fù)載失衡；三是構(gòu)建了全指標(biāo)可視化的長穩(wěn)監(jiān)控體系，在多日連續(xù)訓(xùn)練中未出現(xiàn)一次Loss失控或NaN值。

　　在能力驗(yàn)證環(huán)節(jié)，項(xiàng)目設(shè)計(jì)了一項(xiàng)“硬核”實(shí)驗(yàn)——增強(qiáng)大模型的數(shù)學(xué)建模能力。團(tuán)隊(duì)搭建了一條SFT建模數(shù)據(jù)生產(chǎn)工作流，產(chǎn)出3000條高質(zhì)量數(shù)學(xué)建模任務(wù)SFT樣本，覆蓋4類目標(biāo)任務(wù)與3種問題形態(tài)。

　　訓(xùn)練結(jié)果顯示：模型LM Loss收斂至0.2056，MTP 1 Loss收斂至0.2538，梯度曲線平穩(wěn)。Benchmark評測表明，模型四項(xiàng)核心指標(biāo)全面提升，其中ORGEval WL提升超過5個(gè)百分點(diǎn)，復(fù)雜推理與建模能力顯著增強(qiáng)。

上一篇：重磅突破！世界首臺630℃二次再熱百萬千瓦機(jī)組投產(chǎn)

下一篇：數(shù)智賦能全鏈升級助推普洱茶產(chǎn)業(yè)高質(zhì)量發(fā)展

我要評論

昵稱

匿名

文明上網(wǎng)，理性發(fā)言。（您還可以輸入200個(gè)字符)

表情

所有評論僅代表網(wǎng)友意見，與本站立場無關(guān)。

版權(quán)與免責(zé)聲明：

凡本站注明“來源：智能制造網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-智能制造網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本站授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：智能制造網(wǎng)”。違反上述聲明者，本站將追究其相關(guān)法律責(zé)任。

本站轉(zhuǎn)載并注明自其它來源（非智能制造網(wǎng)）的作品，目的在于傳遞更多信息，并不代表本站贊同其觀點(diǎn)或和對其真實(shí)性負(fù)責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如其他媒體、平臺或個(gè)人從本站轉(zhuǎn)載時(shí)，必須保留本站注明的作品第一來源，并自負(fù)版權(quán)等法律責(zé)任。如擅自篡改為“稿件來源：智能制造網(wǎng)”，本站將依法追究責(zé)任。

鑒于本站稿件來源廣泛、數(shù)量較多，如涉及作品內(nèi)容、版權(quán)等問題，請與本站聯(lián)系并提供相關(guān)證明材料：聯(lián)系電話：0571-89719789；郵箱：1271141964@qq.com。

不想錯(cuò)過行業(yè)資訊？

訂閱 智能制造網(wǎng)APP

一鍵篩選來訂閱

信息更豐富

今日焦點(diǎn)/FOCUS 更多

熱門話題/TOPICS更多

誰贏麻了？上市企業(yè)2026上半年業(yè)績大比拼

越疆科技：上半年?duì)I收預(yù)計(jì)至多3.3億元，同比增長114%

拓斯達(dá)上半年凈利預(yù)增最高300%，工業(yè)機(jī)器人業(yè)務(wù)持續(xù)放量

WAIC 2026|直擊精彩

聚焦高危特種場景，云深處正推進(jìn)具身智能落地一線

DynaLoong機(jī)器人控制器首發(fā)，具身智能量產(chǎn)進(jìn)程提速

精彩直播/VIDEO更多

回放

【與智造同行】走進(jìn)華為AI＋制造行業(yè)峰會2025——如何讓智能制造走深走實(shí)？華為給你答案！

: 數(shù)字孿生賦能新型工業(yè)化分論壇

: 數(shù)字孿生賦能低空經(jīng)濟(jì)分論壇

推薦產(chǎn)品/PRODUCT 更多

希而科進(jìn)口MECASONIC信號轉(zhuǎn)換器92500968
超聲換能器,工業(yè)塑焊聲學(xué)組件,電能轉(zhuǎn)機(jī)械振動轉(zhuǎn)換裝置,重載抗壓超聲轉(zhuǎn)換組件,MECASONIC 超聲聲學(xué)總成
品牌
其他品牌
希而科代采 Stoerk ST710-KHJV.16 恒溫器
Stoerk 溫度控制器 900220.001,制冷設(shè)備溫控恒溫器,雙路壓縮機(jī)恒溫控制器,嵌入式面板溫控器,德國 Stoerk 工業(yè)溫控儀表
品牌
Stoerk
鈑金切割除塵設(shè)備集塵器
脈沖工業(yè)吸塵器,脈沖工業(yè)吸塵器,粉塵工業(yè)除塵器,脈沖工業(yè)集塵機(jī),打磨工業(yè)除塵器
品牌
TWYX
希而科特惠價(jià)CARLO GAVAZZI品牌 DIB01系列
電流繼電器,電磁式電流繼電器,靜態(tài)電流繼電器,金屬,希而科
品牌
其他品牌
龍井市板框壓濾機(jī)
板框壓濾機(jī),污水處理用設(shè)備,自動板框壓濾機(jī),小型板框壓濾機(jī),不銹鋼壓濾機(jī)
品牌
明基環(huán)保
電容器溫度?頻率特性測試系統(tǒng)
多通道電容器溫變特性測試系統(tǒng),全自動電容器高低溫特性評估系統(tǒng),多通道電容溫度系數(shù)測試系統(tǒng),電容器高低溫電參數(shù)測試平臺,MLCC 溫度特性測試裝置
品牌
華測

新突破！國產(chǎn)算力成功完成萬億級大模型全參數(shù)訓(xùn)練

熱門評論

全部評論