大語言模型存在天花板。
“通向通用人工智能的道路雖然依然艱難，但大語言模型為AI產業的發展打開一條通向通用AI寬廣的道路。”1月16日，中文認知大模型企業北京智譜華章科技有限公司（以下簡稱“智譜AI”）舉辦的2024年度技術開放日上，中國科學院院士、清華大學人工智能研究院院長、清華大學計算機系教授張鈸表示，大模型提供了發展通用硬件和軟件的機會。
傳統AI范式利用特定的算法和規則完成特定任務，生成式AI范式是基于一種稱為基礎模型的通用模型，通過廣泛文本數據的訓練，在開領域（open domain，開域）內可以生成類似于人類水平的高質量文本、圖像和其他內容，通過微調等方式可適配于廣泛的下游任務。生成式AI向通用AI邁出一步，第二步是AI智能體，第三步則是具身智能。張鈸表示，GPT-4只能和數字世界打交道，我們最終必須跟物理世界打交道，這就需要機器人，也就是具身智能。具身智能的提出有助于構造完整的智能體，讓智能體既有感知，又有思考。“不一定要做人形機器人，因為很多時候只要用手或腳就可以了，不需要把硬件搞得非常復雜。”他主張以一定的硬件為基礎進行強化學習研究。
生成式AI大模型具備三大能力和一大缺點，即強大的生成能力、強大的遷移（推廣）能力、強大的交互能力和幻覺。強大的語言生成能力可基于上下文和過去的對話，在開領域能夠生成多樣性令人驚訝的類似人類的連貫文本。強大的遷移能力可在代理任務上訓練一個模型，通過細調適配到感興趣的下游任務。強大的交互能力包括與人類的交互（人機交互）、機器之間的交互（多智能體）、與環境的交互（具身智能），通過交互在不同專業和科學的測試基準上表現出人類水平的智能。而針對幻覺，大模型有時會生成看似合理的編造或無意義的答案。
人工智能有助于推動經濟增長，建筑、維護、安裝等行業難以被自動化和智能化，但行政管理等白領工作或被AI替代。AI可提高大多數人類工作的質量和效率，但被AI完全替代的工作仍是少數。之所以AI還不能替代大多數工作，是因為大模型還存在難以逾越的天花板。張鈸表示，大模型的所有工作都是外部提示而非主動，并且在外部提示的情況下利用概率預測完成任務，而人類的工作依靠內部意圖驅動。大語言模型生成語言與人類語言生成只是行為上的相似性，而內在機制根本不同，大語言模型存在不自知、質量不可控、不可信、不魯棒等天花板，給出不同的提示詞，大模型會輸出不同的回答。大模型也會產生幻覺，“不管模型多么大，幻覺這個缺點一直存在。”
他提出，要發展第三代人工智能，必須建立可解釋和魯棒的人工智能理論和方法，發展安全、可控、可信、可靠、可擴展的AI技術，推動AI的創新應用和產業化。如果不能建立可解釋和魯棒的人工智能理論，AI技術是不可靠的，AI技術永遠難以令人相信。“到現在為止，這個理論還沒有建立起來，這也是人工智能之所以發展緩慢和曲折的原因。理論建立不起來，是因為受到三個特定限制，過去只能在特定領域利用特定模型解決特定任務，這怎么可能建立通用理論？大模型的出現為建立這個理論提供了可能性。”
張鈸表示，大模型為我們提供了發展通用硬件和軟件的機會。人工智能正進入穩步發展的階段，對各行各業有巨大影響，必須抓住機遇發展人工智能產業。但仍有大量不確定性，因為AI不可預測、不可控。全世界對大模型強大的生成能力、遷移能力、交互能力感到驚訝，卻無法解釋，只能歸結為“涌現”。所以為了人工智能產業的健康發展，必須將科學研究、技術創新、產業發展結合起來。
本文鏈接：張鈸院士：大模型存在難以逾越的天花板http://m.sq15.cn/show-11-2306-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 院士聞玉梅90歲生日：用積蓄倡導一種理念
下一篇： 培育拔尖創新領軍型人才，高校要敢作善為