馬斯克開源3140億參數(shù)的Grok，大模型爭相開源所為何求？
作者：劉曉潔
特斯拉CEO埃隆?馬斯克(Elon Musk)給大模型領(lǐng)域投下一枚重磅炸彈。
北京時間3月18日凌晨，馬斯克旗下大模型公司 xAI 在官網(wǎng)宣布開源 3140 億參數(shù)的大模型Grok-1，以及該模型的權(quán)重和網(wǎng)絡架構(gòu)。
這是目前為止參數(shù)量最大的開源模型，此前開源大模型中影響力較大的是 Meta開源的Llama 2，有700億參數(shù)。在GitHub頁面中，官方提示，由于Grok模型規(guī)模較大，需要有足夠GPU和內(nèi)存的機器才能運行。
開源大模型生態(tài)社區(qū)OpenCSG的創(chuàng)始人陳冉認為，在馬斯克開源前，大家還在討論開源好，還是閉源好，“馬斯克開源的意義很大，說明AI 2.0，也就是大模型的大趨勢就是以開源為主的漸進創(chuàng)新方式。”對于企業(yè)和個人來說，在 Llama、Gemma和Mistral這些開源大模型外，也會有更多選擇。
大模型廠商紛紛開源
據(jù)xAI官方發(fā)布公告介紹，Grok-1是一個由xAI從頭開始訓練的混合專家(MoE)模型，目前開源的是其2023年10月的原始基礎(chǔ)模態(tài)，沒有針對任何任務進行微調(diào)，意味著這個模型目前還沒有針對任何應用開發(fā)。
xAI 提到遵守 Apache 2.0 許可證來開源 Grok-1 的權(quán)重和架構(gòu)，而Apache 2.0 許可證允許用戶自由地使用、修改和分發(fā)軟件，無論是個人還是商業(yè)用途。
馬斯克一直是開源的支持者，對OpenAI閉源的商業(yè)路線有所不滿。幾周前，馬斯克向法院提起訴訟，以違反合同為由起訴OpenAI及其CEO奧爾特曼(Sam Altman)，要求該公司恢復開源。馬斯克在訴訟中表示， OpenAI違背了公司成立時達成的一項協(xié)議，即開發(fā)技術(shù)以造福人類而不是利潤。OpenAI與科技巨頭微軟的關(guān)系損害了該公司最初致力于公共、開源的通用人工智能(AGI)的目標。
馬斯克在2023年創(chuàng)立大模型公司xAI，他曾表示，創(chuàng)立xAI就是為阻止人工智能領(lǐng)域出現(xiàn)“一家獨大”的局面。隨后，xAI推出大語言模型Grok。
此次Grok開源后，ChatGPT官方賬號也現(xiàn)身評論區(qū)，馬斯克正面開“懟”回復稱：告訴我們更多關(guān)于OpenAI “開放”的部分(Tell us more about the “Open” part of OpenAI)。
和OpenAI為代表的閉源路線相反的是，開源成為不少大模型廠商選擇的方向。同樣在3月18日，國內(nèi)創(chuàng)企潞晨科技的Colossal-AI團隊宣布，全面開源Open-Sora模型參數(shù)和所有訓練細節(jié)。Open-Sora是一個類Sora架構(gòu)視頻生成模型，模型采用了目前火熱的Diffusion Transformer(DiT)架構(gòu)。
公開資料顯示，Open-Sora背后的公司潞晨科技創(chuàng)立于2021年7月，創(chuàng)始人尤洋是加州伯克利大學博士、新加坡國立大學計算機系的校長青年教授。
潞晨科技在其今日的官方發(fā)文中提到了團隊用低成本方法復現(xiàn)Sora的路徑。在復現(xiàn)流程中，團隊共使用了64塊H800進行訓練。第二階段的訓練量一共是 2808 GPU hours，約合7000美元，第三階段的訓練量是1920 GPU hours，大約4500美元，成功把Open-Sora復現(xiàn)流程控制在了1萬美元左右。
具體技術(shù)細節(jié)上，官方提到，為了進一步降低Sora復現(xiàn)的門檻和復雜度，Colossal-AI團隊在代碼倉庫中提供了便捷的視頻數(shù)據(jù)預處理腳本，可以輕松啟動Sora復現(xiàn)預訓練，包括公開視頻數(shù)據(jù)集下載，長視頻根據(jù)鏡頭連續(xù)性分割為短視頻片段，使用開源大語言模型LLaVA生成精細的提示詞。團隊提供的批量視頻標題生成代碼可以用兩卡 3 秒標注一個視頻，并且質(zhì)量接近于 GPT-4V。最終得到的視頻/文本對可直接用于訓練。
開源所為何求？
無論是國內(nèi)還是海外，大模型開源都已經(jīng)成為一大趨勢。對于大模型廠商開源的動力，陳冉對第一財經(jīng)表示，“主要是招攬客戶，做影響力。”
陳冉比喻道，大模型的這個打法就像互聯(lián)網(wǎng)時代移動應用的市場模式，“免費試用一段時間，后面有企業(yè)包裝后的功能或者服務，這個東西也相當于汽車里的發(fā)動機，直接用不起來，需要包裝成整車(企業(yè)功能)。”
2023年 7月，Meta公布開源最新大模型Llama 2，包含70 億、130 億和 700 億三種參數(shù)類型，并宣布可免費用于商業(yè)或者研究。彼時Meta公開表示 ，開放的方法是當今人工智能模型開發(fā)的正確方法，特別是在技術(shù)快速發(fā)展的生成領(lǐng)域。通過公開提供人工智能模型，它們可以使每個人受益。
而最近一次影響力較大的開源是谷歌，其在2月22日宣布推出開源模型系列Gemma，包含Gemma 2B 和 Gemma 7B，模型權(quán)重也一并開源，且允許商用。
倒回半年多以前，2023年5月，一份谷歌的內(nèi)部文件曾在網(wǎng)上傳開并引發(fā)討論。這份內(nèi)部文件認為，開源大模型迅猛發(fā)展，正在侵蝕OpenAI和谷歌的陣地。除非改變閉源的立場，否則開源替代品將最終使這兩家公司黯然失色。
“雖然我們的模型在質(zhì)量方面仍略占優(yōu)勢，但(閉源和開源模型)的差距正在以驚人的速度縮小。”文件寫道。外媒確認了內(nèi)部文件的真實性，這篇文章的原作者是谷歌高級軟件工程師Luke Sernau。
開源模式的迭代進步速度已經(jīng)威脅到了部分閉源模型的生存。文件表示，開源大模型的很多創(chuàng)新，都是源于Meta LLaMA模型的泄露，但Meta又成為這一進程中一個明顯的贏家――他們相當于獲得了整個星球的免費勞動力，“擁有生態(tài)系統(tǒng)的價值怎么強調(diào)都不為過。”
“開源的最終目的是變現(xiàn)，做出商業(yè)模式。”陳冉認為，大模型領(lǐng)域的開源趨勢會促進和推動行業(yè)在上面的商業(yè)化，快速迭代、快速試錯、共創(chuàng)共擔，對于這個生態(tài)只有好處，沒有什么不利，“開源只會越來越澎湃向上，不會走向閉源。”
在Llama 2開源時，Meta CEO馬克?扎克伯格曾為其站臺，稱Llama 2為大模型的“次世代”產(chǎn)品，他表示，開源推動了創(chuàng)新，因為它讓更多的開發(fā)者能夠使用新技術(shù)。同時，軟件開源意味著更多的人可以審查它，識別并修復可能存在的問題，從而提高了安全性，“我相信如果生態(tài)系統(tǒng)更加開放，將會釋放更多的進步，這就是我們開源Llama 2的原因。”
不過，在開源的同時，廠商們也并未完全放棄閉源路線。來自法國的Mistral AI最初是開源起家，其開源的Mistral 7B一度被稱為最好的 7B 模型，這家初創(chuàng)公司也被譽為“歐洲的OpenAI ”，但就在前不久，Mistral AI發(fā)布了最強的旗艦模型 Mistral Large，性能對標 GPT-4，卻沒有選擇開源，其CEO 阿瑟?門斯(Arthur Mensch)公開表示，未來他們依然會堅持開源理念，但是同時也會推出性能最為強大的閉源模型參與商業(yè)競爭。
此次，馬斯克開源了目前最大參數(shù)量的Grok，再次攪動大模型領(lǐng)域的戰(zhàn)爭。閉源還是開源路線勝？猶未可知。對于科技圈而言，正如OpenAI CEO奧爾特曼在3月18日凌晨的推文所述，“這是人類歷史上最有趣的一年，除未來所有年份以外。”
本文鏈接：馬斯克開源3140億參數(shù)的Grok，大模型爭相開源所為何求？http://m.sq15.cn/show-2-3997-0.html
聲明：本網(wǎng)站為非營利性網(wǎng)站，本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。