“人工智能大模型是新質生產力的代表，大模型和超級計算融合發展十分重要，我國需認真布局、考慮。”近日，中國科學院院士陳潤生在2024中國算力發展專家研討會上表示。
在這場由中國智能計算產業聯盟與全國信標委算力標準工作組共同主辦的研討會上，超智融合技術路線的趨勢與發展方向引發專家學者熱議。
在數字化、智能化浪潮中，算力正成為經濟社會高質量發展的重要驅動力。但千行百業的計算場景紛繁復雜，單一計算架構無法應對。與會專家學者認為，超智融合兼具超算的強大處理能力與智算的算法優化能力，二者融合發展已成大勢所趨。
邁出探索性步伐
資料顯示，當前流行的預訓練大模型具有數十億乃至上萬億參數，訓練時用到數萬億個Token（大模型用來表示自然語言文本的單位），訓練的過程就是海量數據處理的過程，這消耗了巨大算力。
據美國開放人工智能研究中心（Open AI）測算，2012年開始，全球大模型訓練所用的計算量呈指數級增長，平均每3.43個月便會翻一番。目前，計算量已遠超算力增長速度。
“大模型的迅猛發展體現出新質生產力的特質，但目前遇到了算力瓶頸。”中國科學院計算技術研究所研究員張云泉說。
北京應用物理與計算數學研究所研究員袁國興說：“現在的應用越來越復雜，不同應用需要不同算法，對計算機也有不同要求。”
張云泉認為，中國在超算領域擁有深厚技術積累，超智融合有望化解這些挑戰。
國家信息中心信息化和產業發展部主任單志廣說，超智融合隨著基礎算力、智算算力、超算算力等應用多元化發展而誕生。這一技術通過混合型算力資源或融合型算力體系，可同時滿足多種不同算力的應用需求。
實際上，超智融合技術正成為近年來全球計算領域熱點話題。今年5月，在以“重塑超算”為主題的國際超算大會上，超智融合相關方案遍地開花。
在我國，超智融合技術已被應用于超算互聯網建設。今年4月，國家超算互聯網平臺上線，標志著我國在超智融合領域邁出探索性步伐。平臺依托一體化算力調度、數據傳輸、生態協作體系，實現算力供給、軟件開發、數據交易、模型服務等產業鏈相關各方緊密鏈接，構建市場化、互聯網化、標準化的先進計算服務環境。
數據顯示，平臺上線以來，已有超200家應用、數據、模型等服務商入駐，并提供超3200款商品。這些商品覆蓋科學計算、工業仿真、人工智能模型訓練等領域，可滿足全社會對先進計算服務的需求。
增強軟硬件協同
不過，要更好實現超智融合，仍需大量創新探索。
陳潤生認為，發展大模型與智算，不僅要改進應用層面的模型和算法，還要在基礎理論層面有所突破。在他看來，隨著模型規模擴張，一味“堆芯片”并不可取。根本上還要向人腦學習，把空間復雜度、時間復雜度壓縮得更小，以更低能耗實現更高性能。
此外，軟硬件協同創新程度有待進一步提升。
中國科學院院士錢德沛認為，在硬件方面，要盡量以最低能耗實現最高性能。未來不一定要做面面俱到的硬件，可重構或柔性或許是主要發展路徑。而在軟件方面，要從基本大模型理論出發，形成完整支撐人工智能的軟件棧。
“我國一些超算中心已能為大模型訓練提供支撐，未來還應重點圍繞國產算力芯片發展關鍵軟件，進一步實現軟硬件協同優化。”中國工程院院士鄭緯民說。
中國信通院云計算與大數據研究所所長何寶宏認為，傳統超算和智算訓練，對底層基礎設施的要求各不相同。“這需要判斷在什么場景下實現兼容統一，在哪些場景下凸顯各自獨特性。”何寶宏說。
呈現三階段演進
在通用性與專用性之間，應如何選擇超智融合的技術路線？與會專家學者普遍認為，應保持一定通用性。尤其在技術和方法論持續發展的背景下，應保持芯片、系統與軟件的普適性，為研究提供廣闊空間，深化底層理論與方法探索。
對此，單志廣提醒，未來一體化算力體系的構建，要做好算力資源和業務應用的統籌銜接。須避免有效應用需求不足、缺乏網絡服務質量保證、沒有成熟調度體系的普遍性算力互聯，不能脫離實際應用需求進行異地計算和遠地計算算力設施布局，要從算力資源供給側和業務應用需求側兩個維度進一步深化研究。
未來，超智融合具體將以何種路徑演進？錢德沛認為，其將沿著超算支撐人工智能應用、用人工智能技術改進超算、超智實現內生融合這三個階段清晰演進。
他進一步解釋，在第一階段，對現有計算機系統進行改造與升級。要發展專用硬件，確保可高效支持和執行人工智能任務，為人工智能研究提供堅實基礎設施。在第二階段，用人工智能改造傳統計算。一方面要用人工智能的方法求解傳統超算問題，另一方面人工智能也將影響傳統計算機的結構，這個趨勢會逐漸明顯。在最終階段，計算機系統將呈現內在的智能特性。人工智能不再是一種外加能力，而將成為計算機的核心屬性和基本組成，可能計算能力或智能化水平會遠超今天的超算或智算。
“人工智能大模型是新質生產力的代表，大模型和超級計算融合發展十分重要，我國需認真布局、考慮。”近日，中國科學院院士陳潤生在2024中國算力發展專家研討會上表示。
在這場由中國智能計算產業聯盟與全國信標委算力標準工作組共同主辦的研討會上，超智融合技術路線的趨勢與發展方向引發專家學者熱議。
在數字化、智能化浪潮中，算力正成為經濟社會高質量發展的重要驅動力。但千行百業的計算場景紛繁復雜，單一計算架構無法應對。與會專家學者認為，超智融合兼具超算的強大處理能力與智算的算法優化能力，二者融合發展已成大勢所趨。
邁出探索性步伐
資料顯示，當前流行的預訓練大模型具有數十億乃至上萬億參數，訓練時用到數萬億個Token（大模型用來表示自然語言文本的單位），訓練的過程就是海量數據處理的過程，這消耗了巨大算力。
據美國開放人工智能研究中心（Open AI）測算，2012年開始，全球大模型訓練所用的計算量呈指數級增長，平均每3.43個月便會翻一番。目前，計算量已遠超算力增長速度。
“大模型的迅猛發展體現出新質生產力的特質，但目前遇到了算力瓶頸。”中國科學院計算技術研究所研究員張云泉說。
北京應用物理與計算數學研究所研究員袁國興說：“現在的應用越來越復雜，不同應用需要不同算法，對計算機也有不同要求。”
張云泉認為，中國在超算領域擁有深厚技術積累，超智融合有望化解這些挑戰。
國家信息中心信息化和產業發展部主任單志廣說，超智融合隨著基礎算力、智算算力、超算算力等應用多元化發展而誕生。這一技術通過混合型算力資源或融合型算力體系，可同時滿足多種不同算力的應用需求。
實際上，超智融合技術正成為近年來全球計算領域熱點話題。今年5月，在以“重塑超算”為主題的國際超算大會上，超智融合相關方案遍地開花。
在我國，超智融合技術已被應用于超算互聯網建設。今年4月，國家超算互聯網平臺上線，標志著我國在超智融合領域邁出探索性步伐。平臺依托一體化算力調度、數據傳輸、生態協作體系，實現算力供給、軟件開發、數據交易、模型服務等產業鏈相關各方緊密鏈接，構建市場化、互聯網化、標準化的先進計算服務環境。
數據顯示，平臺上線以來，已有超200家應用、數據、模型等服務商入駐，并提供超3200款商品。這些商品覆蓋科學計算、工業仿真、人工智能模型訓練等領域，可滿足全社會對先進計算服務的需求。
增強軟硬件協同
不過，要更好實現超智融合，仍需大量創新探索。
陳潤生認為，發展大模型與智算，不僅要改進應用層面的模型和算法，還要在基礎理論層面有所突破。在他看來，隨著模型規模擴張，一味“堆芯片”并不可取。根本上還要向人腦學習，把空間復雜度、時間復雜度壓縮得更小，以更低能耗實現更高性能。
此外，軟硬件協同創新程度有待進一步提升。
中國科學院院士錢德沛認為，在硬件方面，要盡量以最低能耗實現最高性能。未來不一定要做面面俱到的硬件，可重構或柔性或許是主要發展路徑。而在軟件方面，要從基本大模型理論出發，形成完整支撐人工智能的軟件棧。
“我國一些超算中心已能為大模型訓練提供支撐，未來還應重點圍繞國產算力芯片發展關鍵軟件，進一步實現軟硬件協同優化。”中國工程院院士鄭緯民說。
中國信通院云計算與大數據研究所所長何寶宏認為，傳統超算和智算訓練，對底層基礎設施的要求各不相同。“這需要判斷在什么場景下實現兼容統一，在哪些場景下凸顯各自獨特性。”何寶宏說。
呈現三階段演進
在通用性與專用性之間，應如何選擇超智融合的技術路線？與會專家學者普遍認為，應保持一定通用性。尤其在技術和方法論持續發展的背景下，應保持芯片、系統與軟件的普適性，為研究提供廣闊空間，深化底層理論與方法探索。
對此，單志廣提醒，未來一體化算力體系的構建，要做好算力資源和業務應用的統籌銜接。須避免有效應用需求不足、缺乏網絡服務質量保證、沒有成熟調度體系的普遍性算力互聯，不能脫離實際應用需求進行異地計算和遠地計算算力設施布局，要從算力資源供給側和業務應用需求側兩個維度進一步深化研究。
未來，超智融合具體將以何種路徑演進？錢德沛認為，其將沿著超算支撐人工智能應用、用人工智能技術改進超算、超智實現內生融合這三個階段清晰演進。
他進一步解釋，在第一階段，對現有計算機系統進行改造與升級。要發展專用硬件，確保可高效支持和執行人工智能任務，為人工智能研究提供堅實基礎設施。在第二階段，用人工智能改造傳統計算。一方面要用人工智能的方法求解傳統超算問題，另一方面人工智能也將影響傳統計算機的結構，這個趨勢會逐漸明顯。在最終階段，計算機系統將呈現內在的智能特性。人工智能不再是一種外加能力，而將成為計算機的核心屬性和基本組成，可能計算能力或智能化水平會遠超今天的超算或智算。
本文鏈接：超智融合為突破算力瓶頸提供有效路徑http://m.sq15.cn/show-2-7840-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。