關于大模型的五方面思考
·從宇宙到量子，物理學有一套大一統的理論統一起來，叫作Theory of Everything。今天深度學習沒有這樣的理論，所以叫作Theory of Anything。
·算力是門檻。“千卡萬卡是錢堆出來的。以前有一句話叫貧窮限制想象力，現在貧窮可能扭曲想象力，因為如果沒有卡，能想象要做的項目可能就不太一樣了。”
沈向洋
“大模型大到一定地步以后就涌現出來。多大才涌現出來？沒人講得清楚。”3月23日，2024全球開發者先鋒大會在上海開幕，美國國家工程院外籍院士沈向洋在《大模型時代的機遇和挑戰》的演講中分享了對大模型的思考。他表示，人工智能蓬勃發展，但人們對智能的本質并沒有清晰認知。物理學是Theory of Everything，而深度學習就是Theory of Anything。
過去這幾年，大模型的發展風起云涌，開源社區的活力和生命力非常強大。沈向洋說，文生圖使得一言勝千圖，一個簡單的提示就可以做出了不起的圖片。ChatGPT使得一句頂一萬句，提出一個問題可以得到很多答案。Sora的出現使得輸入幾句提示就能產生大片效果。
這三件事讓人們產生一個個焦慮，未來開發者的機會在哪里？沈向洋認為是多模態，多模態是通用人工智能的必經之路。以OpenAI代表的技術實際上是對不同模態的理解，“OpenAI的內部有兩套體系，一是從文生圖延展到文生視頻，走的是Stable Diffusion路線，二是文生文，走的是Transformer路線。到現在為止，這兩條線路還沒完全統一起來，相信接下來中國的開發者、世界的開發者，很快會有這方面的突破。”
沈向洋分享了關于大模型的五方面思考。
第一，大模型的到來，強迫人類重新思考人機關系。“我們受到的沖擊，到底有多少是機器智能的發展，有多少是人機交互的震撼。”他認為，不管是什么技術，最終目的是幫助人更好運用機器，不忘初心。
第二，大模型將橫掃所有垂直行業。大模型可分為通用大模型、行業大模型、企業大模型和個人大模型。“一個通用大模型如果沒有萬卡、不上1萬億參數，基本上以后就不太好意思說這是一個通用模型了。行業大模型大致上是千億參數、千卡的訓練規模。企業大模型可能只需要100張卡、百億參數。最有意思的是個人大模型，利用個性化參數，結合云和端，這是非常有意義的。”
第三，算力是門檻。影響算力的兩大因素是模型大小和數據規模，隨著參數增加，對算力的需求幾乎是幾何級的。“千卡萬卡是錢堆出來的。以前有一句話叫貧窮限制想象力，現在貧窮可能扭曲想象力，因為如果沒有卡，能想象要做的項目可能就不太一樣了。”
第四，AI帶來社會沖擊。這些沖擊包括對民眾的沖擊、企業的沖擊、政府監管的沖擊、社會發展的沖擊，帶來一本正經胡說八道、深度偽造等倫理問題，很多國家開始立法，這需要共同推動治理、向前發展。
第五，智能的本質。人工智能蓬勃發展，但人們對智能的本質并沒有清晰認知。“大模型大到一定地步以后就涌現出來。多大才涌現出來？沒人講得清楚。”沈向洋表示，“很多人相信scaling law（規模法則），但今天的深度學習，理論非常欠缺。從宇宙到量子，物理學有一套大一統的理論統一起來，叫作Theory of Everything。今天深度學習沒有這樣的理論，所以叫作Theory of Anything。”
來源：澎湃新聞
本文鏈接：沈向洋：大模型將橫掃所有垂直行業，算力是門檻http://m.sq15.cn/show-2-4234-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。