在6月20日舉行的華為開發(fā)者大會(huì)2025（HDC 2025）上，華為常務(wù)董事、華為云計(jì)算CEO張平安宣布，基于CloudMatrix384超節(jié)點(diǎn)的新一代昇騰AI云服務(wù)全面上線，為大模型應(yīng)用提供澎湃算力。
據(jù)介紹，隨著大模型訓(xùn)練和推理對(duì)算力需求的爆炸式增長(zhǎng)，傳統(tǒng)計(jì)算架構(gòu)已難以支撐AI技術(shù)的代際躍遷。華為云新一代昇騰AI云服務(wù)基于CloudMatrix384超節(jié)點(diǎn)，首創(chuàng)將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網(wǎng)絡(luò)MatrixLink全對(duì)等互聯(lián)，形成一臺(tái)超級(jí)“AI服務(wù)器”，單卡推理吞吐量躍升到2300 Tokens/s。
超節(jié)點(diǎn)架構(gòu)能更好地支持混合專家MoE大模型的推理，可以實(shí)現(xiàn)“一卡一專家”，一個(gè)超節(jié)點(diǎn)可以支持384個(gè)專家并行推理，極大提升效率。同時(shí)，超節(jié)點(diǎn)還可以支持“一卡一算力任務(wù)”，靈活分配資源，提升任務(wù)并行處理，減少等待，將算力有效使用率（MFU）提升50%以上。
對(duì)于萬億、十萬億參數(shù)的大模型訓(xùn)練任務(wù)，在云數(shù)據(jù)中心，還能將432個(gè)超節(jié)點(diǎn)級(jí)聯(lián)成最高16萬卡的超大集群；同時(shí)，超節(jié)點(diǎn)還可以支持訓(xùn)推算力一體部署，如“日推夜訓(xùn)”，訓(xùn)推算力可靈活分配，幫助客戶資源使用最優(yōu)。
張平安介紹，新浪與華為云深度合作，基于CloudMatrix384昇騰AI云服務(wù)，為“智慧小浪”智能服務(wù)體系構(gòu)建了統(tǒng)一的推理平臺(tái)，底層由昇騰AI算力提供支持。推理的交付效率提升了超過 50%，模型上線速度成倍加快；通過軟硬協(xié)同調(diào)優(yōu)，NPU利用率提升超過40%。
硅基流動(dòng)正在使用CloudMatrix384超節(jié)點(diǎn)，為數(shù)百萬用戶高效提供DeepSeek V3、R1的推理服務(wù)。面壁智能使用CloudMatrix384超節(jié)點(diǎn)，讓他們的小鋼炮模型的推理業(yè)務(wù)性能得到了2.7倍提升。
在科研領(lǐng)域，中科院基于CloudMatrix384超節(jié)點(diǎn)打造了自己的模型訓(xùn)練框架，快速構(gòu)建了中科院AI for Science科研大模型，擺脫了對(duì)國(guó)外高性能AI算力平臺(tái)的依賴。
在互聯(lián)網(wǎng)領(lǐng)域，360打造的納米AI搜索，為用戶提供超級(jí)AI搜索服務(wù)，對(duì)AI算力有極大需求，也已開啟了CloudMatrix384超節(jié)點(diǎn)的測(cè)試。
當(dāng)前，昇騰AI云服務(wù)已經(jīng)為超過1300家客戶提供澎湃的AI算力。
在會(huì)上，張平安宣布盤古大模型5.5發(fā)布，自然語(yǔ)言理解NLP、計(jì)算機(jī)視覺CV、預(yù)測(cè)、多模態(tài)、科學(xué)計(jì)算五大基礎(chǔ)模型全面升級(jí)。他強(qiáng)調(diào)，盤古大模型是基于昇騰云的全棧軟硬件訓(xùn)練而成的，這標(biāo)志著基于昇騰架構(gòu)可以打造出世界一流大模型。
在NLP大模型方面，全新的718B 深度思考模型是一個(gè)由256個(gè)專家組成的MoE大模型，在知識(shí)推理、工具調(diào)用、數(shù)學(xué)等領(lǐng)域大幅增強(qiáng)，實(shí)現(xiàn)能力領(lǐng)先。盤古大模型通過通算掩蓋、全局動(dòng)態(tài)均衡、分組混合專家MoGE等算法，實(shí)現(xiàn)了昇騰親和的高效訓(xùn)推系統(tǒng)，訓(xùn)練MFU和單卡推理吞吐業(yè)界領(lǐng)先。同時(shí)，提出了模型親和的詞表、三明治架構(gòu)、EP-Group負(fù)載均衡loss等技術(shù)，實(shí)現(xiàn)了不弱于業(yè)界一流模型的競(jìng)爭(zhēng)力。
本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
本文鏈接：華為云“算力核彈”全面上線，規(guī)模最高可達(dá)16萬卡http://m.sq15.cn/show-3-147246-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。