最強端側多模態+1.2B小鋼炮
金磊 發自 凹非寺
量子位 | 公眾號 QbitAI
識讀距今2300多年戰國時期的上古竹簡，AI正在立功。
而且在這背后的“大功臣”，竟是只有2B大小的多模態大模型！
這批上古竹簡，由清華大學于2008年7月收藏，因此也被稱為清華簡。
清華簡的數量大約是2500枚，其內容在已被發現的先秦竹簡中也是前所未見，被認為是繼甲骨文、敦煌遺書、居延漢簡、云夢秦簡之后的又一重大發現。
不過也正因如此，識讀清華簡便成了老大難的問題，因為上面的文字基本上都是楚文字，秦始皇統一文字后就已被廢棄。
而就在最近，研究人員在一個2B大小的多模態大模型助力之下，成功地在清華簡的版式檢測和文字識別上取得突破：
例如詢問這個大模型：
它不僅可以準確找到最短的竹簡，也能精準地識別出上面的楚文字是現代的“可”字。
即使是和現代文字差異較大的古文字，這個大模型也能查字詢意，得出正確結論是“我”。
并且研究團隊還表示，他們正在嘗試繼續用這種方式進一步做探索。
嗯，不得不說，大模型“以小博大”這事，已經開始波及到多模態了。
那么這個2B大模型，到底是什么來頭？
最強端側多模態大模型，手機就能跑
不賣關子。
這個2B多模態大模型，正是由清華系初創公司面壁智能最新升級的小鋼炮系列，最強端側多模態大模型——MiniCPM-V 2.0。
劃個重點：手機端就能跑！
MiniCPM-V 2.0的地址：
https://github.com/OpenBMB/MiniCPM-V
MiniCPM系列地址：
https://github.com/OpenBMB/MiniCPM
那么它的能力到底幾何？為什么說是最強端側多模態大模型？
首先來看多模態通用能力，這也是能夠衡量其底座水平的一個重要指標。
在多模態大模型綜合評測權威平臺OpenCompass榜單上測試的結果顯示，MiniCPM-V 2.0雖然只有2B的體量，但得分已經超過了10B、17B甚至34B的主流選手：
其次再看OCR（光學字符識別）綜合能力，這可以說是檢測多模態識別與推理能力最硬核的指標。
在權威的OCR綜合能?榜單OCRBench中，MiniCPM-V 2.0同樣是用2B的“姿勢”競技，刷新了開源模型SOTA：
并且在場景圖片文字識別榜單TextVQA中，MiniCPM-V 2.0更是直接秒殺了全系13B體量的通用模型。
甚至部分能力已經可以比肩多模態領域的王者Gemini Pro：
不僅如此，在中文OCR能力方面，MiniCPM-V 2.0展現的性能效果明顯超越了GPT-4V。
同樣是識別一張街景圖，MiniCPM-V 2.0可以準確地叫出大廈的名字，但GPT-4V卻只能回答“看不清楚”。
那么，MiniCPM-V 2.0是怎么做到不“近視”的呢？
傳統做OCR的方法是比較粗暴的：它們只能處理一個固定尺寸的圖片，因此就會把偏大或不規則的圖片強行進行壓縮。
這就會導致原始圖片中大量信息的丟失，再次放大的時候就仿佛近視眼一樣，很多細節都變成了馬賽克：
同樣的道理，傳統的方法在處理極端長寬比的長圖（如1:9）時效果會大打折扣，因為很長的圖壓縮成正方形同樣會造成大量信息丟失。
為此，面壁智能團隊所提出的解法就是“分而治之”——
并不是暴力壓縮，而是把不規則的圖片分成若干個小的圖片，然后再按照大模型OCR的方式去自適應處理。
與此同時，為了解決大圖像“切塊”后所帶來的計算量增長問題，團隊還針對性地做了一個視覺模塊壓縮的工作，可以讓增長的計算量通過局部的一些視覺感知壓縮方法再打下來。
由此就保證了計算量和模型效果之間的平衡。
據團隊介紹，MiniCPM-V 2.0可以處理最大180萬像素高清大圖，甚至1:9極限寬高比的高清圖片，對它們進行高效編碼和無損識別。
具體效果如下所示：
除了多模態通用能力和OCR綜合能力之外，幻覺也是考量一個多模態大模型性能的重要指標之一。
在這方面，MiniCPM-V 2.0所參與的則是Object HalBench榜單。
結果顯示，其幻覺水平是與GPT-4V持平的：
而MiniCPM-V 2.0，也還僅是面壁智能最新發布內容中的一隅。
除了它之外，面壁智能還發布了額外三個同樣是“小體量”的大模型。
由此，在MiniCPM 2.0的矩陣中就形成了“四大金剛”屹立的陣容——四驅小鋼炮。
那么四驅小鋼炮中的其它三個大模型還解鎖了哪些能力，我們繼續往下看。
1元=4150000 tokens，適用更多端側場景
在追求“小”這件事上，面壁智能再次刷新自己的紀錄——MiniCPM-1.2B。
至于它的特點，一言蔽之：
同樣的，在公開測評榜單中，其成績依舊是做到了越級超越：
值得一提的是，MiniCPM-1.2B現在也是可以在手機端側跑起來的那種，速度可以達到25tokens/s（人類說話速度的15-25倍）：
現場演示效果
不僅如此，MiniCPM-1.2B還做到了把價格和內存打下去。
以iOS為例，MiniCPM-2.4B的量化模型是2.10G；而到了MiniCPM-1.2B，則只需要1.01G，內存減少51.9%。
價格方面更是打了6折：1元=4150000 tokens。
（計算方式為：蘋果A17 Pro為130美元（約人民幣950元），如開metal，速度最大為 25 tokens/s；若芯片使用5年，則推理代價為 (25×3600×24×365×5)/950=415萬 tokens/元）
這也就意味著現在更多端側場景“快好省”地跑大模型成為了可能，不只是手機，還包括穿戴設備、PC、智能家居、汽車等等。
在各個大模型玩家都在你追我趕的長文本領域，面壁智能這一次也出手了——MiniCPM-2B-128K。
直接解鎖了一個新的之最——最小的128K長文本大模型。
在InfiniteBench榜單的平均成績也是超越了同體量的其它選手：
而之所以要做這個工作，在面壁智能看來，是因為目前在實際真正需要調用長文本大模型的時候，還是需要非常大的內存才能做較好的推理工作。
面壁智能表示，他們還將繼續對MiniCPM-2B-128K做優化工作，盡快讓其能夠在端側跑起來。
除此之外，面壁智能還在另一個大火的技術上發力，那便是MoE（混合專家）——發布了MiniCPM-MoE-8x2B模型。
（MoE能在不增加推理成本的前提下，為大模型帶來性能激增。）
通過MoE的性能增強，讓2B小鋼炮（MiniCPM 1.0）在其原來的基礎之上性能平均提高4.5個百分點。
從榜單成績上來看，MiniCPM-MoE-8x2B模型做到了在性能上的越級超越，并且推理成本僅為Gemma-7B的69.7%：
以上就是四驅小鋼炮的全部內容了。
不難看出，四驅小鋼炮中的每一個“驅動力”都主打“夠小，但能打”。
而且縱觀面壁智能此次的發布，提及最多的兩個關鍵詞就是“端側”和“最小”。
那么面壁智能為何要如此極致地追求于此？
端側，需要高效大模型
其實從大模型整體的發展趨勢來看，這兩個關鍵詞早已是定數。
自從ChatGPT引爆大模型以來，先是在國內外引發了一波百模大戰的熱潮，都將極大的算力和資金投入到了訓練的過程當中。
而當底座的大模型訓練完畢之后，各個大模型玩家又將工作重心向推理側傾斜，隨即也迎來了各式各樣AIGC應用的百花齊放。
與此同時，大模型不再僅僅較真于參數規模、跑分和測評，更注重在應用側發力。
一言蔽之，比的就是看誰能“快好省”地用起來。
在端側的表現尤為明顯，比如大火的AI手機、AI PC便是很好的印證；而要讓大模型能夠在端側絲滑地跑起來，那么其體量注定便不能過于龐大。
這就注定了端側的大模型必須要滿足兩點：要小，還要性能高效；也就不難理解面壁智能為何如此極致地追求于此了。
那么接下來的一個問題是：要怎么做？
面壁智能CEO李大海給出了一種“高效公式”解法：
首先在高效訓練這件事上，從面壁智能的first day開始，就已然是一個終極目標一樣的存在了。
面壁智能最早訓練大模型之際還并沒有多機多卡的訓練框架，為此，團隊便自主研發了BMTrain框架來支撐大模型的訓練，成本相比于GPT-3直接下降了90%之多。
現如今，面壁智能在高效訓練中持續死磕的一個目標就是“高效Scaling Law”，這也是“第一性原理”一樣的存在。
它不同于OpenAI向上大力出奇跡的玩法，主打的就是爭取更大的模型壓縮效率，用更少的高質量數據訓練出更好、更小的模型，這也是避免算力等資源巨大浪費的方法之一。
其次是高效落地，具體來說便是AI智能體（Agent）。
早在去年3月份之際，面壁智能便已經發表了關于AI智能體的相關論文，隨后又將其演變成SaaS級智能軟件開發平臺ChatDev，就是為了把這種“一句話搞開發”的門檻再次打下去。
具體而言，在產品版ChatDev加持之下，在開發的整個流程中，從產品經理到程序員，再到設計和測試等等，統統都是AI智能體；開發的迭代，也變成了有想法就行的事。
要知道，常規軟件的開發周期是在2-3周，且成本在10000-50000美元之間（包括人力）；如此對比起來，可真的是大寫的“降本增效”！
除此之外，基于其大模型底座的基礎能力，面壁智能還曾開源了兩項重磅的工作——AgentVerse和XAgent；加上我們剛才提到的ChatDev，三者共同形成了大模型驅動的AI Agent“三駕馬車”，圍繞的核心便是AI智能體。
這也正是AI智能體能夠將落地這件事變得高效的原因。
到這里，僅是在高效訓練和高效落地這件事上，面壁智能就已經形成了“大模型+AI智能體”這樣的技術路線。
而就在前不久，AI大牛吳恩達也公開在X中發表觀點，對這樣的模式給予了高度的認可。
至于高效大模型的最后一個部分高效推理，則是端云協同技術。李大海對此表示：
在這一方面，面壁智能其實也早已有所涉獵，所提出的銜尾蛇投機采樣技術，可以說是打破了傳統云側大模型服務方案中因大模型串行逐 token 生成并伴隨每次生成帶來的頻繁訪存，所造成的遠低于計算上限的讀寫速度瓶頸。
具體到端、云之間的協作，就是將起草的小模型放在手機側、效果更好的大模型放在云側，通過用小模型給大模型打草稿、做驗證的方式，減少云端訪存讀寫工作，為云端減負。
如此，大小模型通過敏捷的雙向反饋機制，得到推理速度提升的互相激發。
以上便是面壁智能的“高效公式”了。
總結來看，面壁智能到目前為止所發力的一切，也與其智周萬物的愿景高度契合——就是要讓大模型“快好省”地用起來。
One More Thing
面壁智能在近日也迎來了融資方面的好消息——
完成新一輪數億元融資。
李大海在公開信中也透露了資金的用處，依舊將是技術和人才：
有技術，有人才，有市場，面壁智能是值得繼續關注一波的大模型實力派選手了。
MiniCPM-V 2.0的地址：
https://github.com/OpenBMB/MiniCPM-V
MiniCPM系列地址：
https://github.com/OpenBMB/MiniCPM
本文鏈接：釋讀2300多年的戰國竹簡，清華系初創竟只用2B端側大模型！http://m.sq15.cn/show-2-4821-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。