來自Transformer作者創業公司
能打得過GPT-4的開源模型出現了！
大模型競技場最新戰報：
1040億參數開源模型Command R+攀升至第6位，與GPT-4-0314打成平手，超過了GPT-4-0613。
這也是第一個在大模型競技場上擊敗GPT-4的開放權重模型。
大模型競技場，可是大神Karpathy口中唯二信任的測試基準之一。
Command R+來自AI獨角獸Cohere。這家大模型創業公司的聯合創始人兼CEO，正是Transformer最年輕作者Aidan Gomez（簡稱割麥子）。
這份戰報一出，又掀起了一波大模型社區的熱烈討論。
大家伙兒興奮的理由很簡單：基礎大模型卷了一整年，沒想到在2024年格局還在不斷地發展變化。
HuggingFace聯合創始人Thomas Wolf就說：
另外，Cohere機器學習總監Nils Reimers還指出了值得關注的一點：
Command R+最大的特色是對內置RAG（檢索增強生成）進行了全面優化，而在大模型競技場中，RAG這樣的外掛能力并未納入測試。
RAG優化模型登上開源王座
在Cohere官方定位中，Command R+是一個“RAG優化模型”。
就是說，這個1040億參數的大模型主要針對檢索增強生成技術進行了深度優化，以減少幻覺的產生，更適配于企業級工作負載。
和此前推出的Command R一樣，Command R+的上下文窗口長度是128k。
此外，Command R+還具備以下特點：
- 覆蓋10+種語言，包括英語、中文、法語、德語等；
- 能使用工具完成復雜業務流程的自動化
從測試結果來看，在多語種、RAG和工具使用這三個維度上，Command R+都達到了GPT-4 turbo的水平。
但在輸入成本方面，Command R+的價格僅為GPT-4 turbo的1/3。
輸出成本方面，Command R+則是GPT-4 turbo的1/2。
正是這點引發了不少網友的關注：
不過，盡管在大模型競技場這種人類主觀評測上表現搶眼，還是有網友甩出了一些不同觀點。
在HumanEval上，Command R+的代碼能力就連GPT-3.5都沒打過，在兩組測試中分別排在32位和33位。
最新版GPT-4 turbo則沒有懸念地拿下了第一。
另外，我們也在最近剛登上正經論文的弱智吧benchmark上簡單測試了一下Command R+的中文能力。
你給打個分？
需要說明的是，Command R+的開源只面向學術研究，并不能免費商用。
One More Thing
最后的最后，還是多聊一嘴割麥子小哥。
Aidan Gomez，Transformer圓桌騎士中最年輕的一位，加入研究團隊時只是個本科生——
不過，是在多倫多大學讀大三時就加入了Hinton實驗室的那種。
2018年，割麥子被牛津大學錄取，開始像他的論文搭子們那樣攻讀CS博士學位。
但在2019年，隨著Cohere的創立，他最終選擇退學加入AI創業的浪潮。
Cohere主要是為企業提供大模型解決方案，目前估值達到了22億美元。
參考鏈接：
[1]https://twitter.com/lmsysorg/status/1777630133798772766
[2]https://txt.cohere.com/command-r-plus-microsoft-azure/
— 完 —
本文鏈接：開源模型首勝GPT-4！競技場最新戰報引熱議，Karpathy：這是我唯二信任的榜單http://m.sq15.cn/show-2-4735-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。