羅福莉在小米大模型團(tuán)隊(duì)不僅僅要擔(dān)任一個(gè)科學(xué)家角色，她需要真正帶領(lǐng)小米做出能夠落地其人車家全生態(tài)產(chǎn)品的AI基座模型及應(yīng)用能力。
12月17日，小米召開2025人車家全生態(tài)合作伙伴大會(huì)。但實(shí)際上，幾乎所有目光都瞄準(zhǔn)了其中一位演講者——Xiaomi Mimo大模型負(fù)責(zé)人羅福莉。
自離開DeepSeek、低調(diào)入職小米后，這是被行業(yè)譽(yù)為“AI天才少女”的羅福莉首次代表小米大模型團(tuán)隊(duì)公開對(duì)外。而大會(huì)開始前，小米發(fā)布并開源了最新MoE大模型MiMo-V2-Flash，這構(gòu)成了羅福莉演講的核心內(nèi)容。
羅福莉在開場(chǎng)時(shí)指出，下一代智能體系統(tǒng)核心圍繞Agent執(zhí)行與Omni（全能）感知，涵蓋記憶、推理、自主規(guī)劃、決策、執(zhí)行多個(gè)維度，應(yīng)當(dāng)從回答問(wèn)題走向完成任務(wù)，并且應(yīng)當(dāng)統(tǒng)一多模態(tài)感知，為理解物理世界打基礎(chǔ)。
她由此表示，MiMo-V2-Flash在研發(fā)之初，主要圍繞三個(gè)關(guān)鍵問(wèn)題展開。
第一，當(dāng)代智能體必須要有高效的溝通語(yǔ)言，即代碼能力和工具調(diào)用能力；第二，“高帶寬”是Agent協(xié)作的關(guān)鍵，因此需要圍繞極致推理效率設(shè)計(jì)模型結(jié)構(gòu)；第三，模型訓(xùn)練范式逐步從預(yù)訓(xùn)練轉(zhuǎn)向后訓(xùn)練，為了激發(fā)后訓(xùn)練的更多潛能，需要高效穩(wěn)定的擴(kuò)展強(qiáng)化學(xué)習(xí)訓(xùn)練。
MiMo-V2-Flash是小米全新一代面向Agent的基座模型，總參數(shù)309B，激活參數(shù)15B，支持256k上下文窗口，整體針對(duì)推理、編碼和Agent場(chǎng)景構(gòu)建，支持混合思維模式，允許用戶切換“思考”和即時(shí)回答模式。
在基準(zhǔn)測(cè)試中，MiMo-V2-Flash的表現(xiàn)整體接近DeepSeek-V3.2，在SWE-Bench Verified/Multiligual、GPQA-Diamond等測(cè)試中略勝一籌，僅在HLE（人類最后的考試）及Arena-Hard（創(chuàng)意寫作評(píng)估）兩項(xiàng)測(cè)試中不及后者。此外，該模型在AIME2025能力上接近GPT-5和Gemini 3.0 Pro。
作為首秀成果，同時(shí)也是小米未來(lái)可能全面落地各個(gè)業(yè)務(wù)場(chǎng)景的智能體模型底座，羅福莉花了大量篇幅重點(diǎn)講述MiMo-V2-Flash的性價(jià)比優(yōu)勢(shì)及其技術(shù)來(lái)由。
目前，MiMo-V2-Flash推理吞吐速度為每秒150個(gè)token，定價(jià)0.7元/每百萬(wàn)輸入token，2.1元/每百萬(wàn)輸出token。
在一張價(jià)格與速度構(gòu)成的坐標(biāo)軸圖標(biāo)中，MiMo-V2-Flash的速度與Gemini-2.5 Pro齊平，但價(jià)格是其約二十分之一；其價(jià)格是DeepSeek V3.2的約一半，但速度是后者的近3倍。
這樣的推理效率主要來(lái)自兩項(xiàng)創(chuàng)新。其一是模型注意力機(jī)制采用了Hybrid Sliding Window Attention（Hybrid SWA/混合滑動(dòng)窗口注意力機(jī)制），其中SWA與Full Attention（全局注意力機(jī)制）的比例是5:1。
羅福莉指出，相較于一些復(fù)雜的Linear Attention（線性注意力機(jī)制），SWA在兼顧長(zhǎng)短文的推理、知識(shí)檢索等方面更勝一籌。
一名AI大模型行業(yè)從業(yè)者對(duì)界面新聞?dòng)浾弑硎荆琒WA本質(zhì)上是一種Sparse Attention（稀疏注意力機(jī)制），業(yè)界普遍利用它解決長(zhǎng)上下文的推理效率問(wèn)題，其最大優(yōu)勢(shì)是可以將KV Cache保持在一個(gè)固定最大值，而不會(huì)隨著上下文擴(kuò)大而無(wú)限增長(zhǎng)，從而實(shí)現(xiàn)降本增效的目的。
他指出，這種機(jī)制核心要考慮的問(wèn)題是在長(zhǎng)文本任務(wù)中受到窗口策略限制可能表現(xiàn)不佳，這也是SWA會(huì)與Full Attention進(jìn)行混合配比的原因之一。
MiMo-V2-Flash另一項(xiàng)重要?jiǎng)?chuàng)新在于MTP（Multi-Token Prediction）。羅福莉表示，團(tuán)隊(duì)在訓(xùn)練時(shí)加入了一層MTP層以提高基座模型能力，并在微調(diào)時(shí)也加入了更多MTP層，最終在推理時(shí)加入了3層MTP，以加速并行token驗(yàn)證的方式實(shí)現(xiàn)了2-2.6倍推理速度的提升。
此外，為了提高強(qiáng)化學(xué)習(xí)訓(xùn)練的穩(wěn)定性，MiMo團(tuán)隊(duì)提出了一種叫做Multi-Teacher On-Policy Distillation（MOPD）的后訓(xùn)練范式。相較于傳統(tǒng)SFT+RL（微調(diào)+強(qiáng)化學(xué)習(xí)）的后訓(xùn)練方式，它可以提供稠密的token level監(jiān)督學(xué)習(xí)信號(hào)，以簡(jiǎn)單快速的方式獲得各個(gè)專家模型的能力。
“我們還發(fā)現(xiàn)一個(gè)很意外的事情，當(dāng)學(xué)生很快超越老師的時(shí)候，我們能不能把老師替換成學(xué)生繼續(xù)自我迭代提升，這是一個(gè)正在進(jìn)行中的工作。”羅福莉預(yù)告稱。
從這場(chǎng)演講可以看出的是，羅福莉在小米大模型團(tuán)隊(duì)不僅僅要擔(dān)任一個(gè)科學(xué)家角色，她需要真正帶領(lǐng)小米做出能夠落地其人車家全生態(tài)產(chǎn)品的AI基座模型及應(yīng)用能力——在汽車、手機(jī)、大家電、智能穿戴等硬件產(chǎn)品線全面開始跨越自己的階段性門檻后，AI能力是小米撐起下一個(gè)十年技術(shù)敘事的核心底座。
羅福莉也幾乎沒(méi)有談?wù)撟约海ㄒ簧婕皥F(tuán)隊(duì)構(gòu)成的表述是，一個(gè)“小而美，卻充滿創(chuàng)業(yè)精神極度好奇、追求真理”的年輕團(tuán)隊(duì)。此外，她認(rèn)為在大模型的能力競(jìng)爭(zhēng)中，算力和數(shù)據(jù)也并非最終的護(hù)城河，“而是科學(xué)的研究文化與方法，是將未知問(wèn)題結(jié)合模型優(yōu)勢(shì)轉(zhuǎn)化可用產(chǎn)品的能力”。
此外，在大會(huì)上，小米集團(tuán)合伙人、集團(tuán)總裁盧偉冰披露了小米“人車家全生態(tài)”的最新進(jìn)展：用戶規(guī)模方面，小米全球月活躍用戶數(shù)達(dá)到7.42億；硬件生態(tài)方面，小米AIoT平臺(tái)連接設(shè)備數(shù)達(dá)到10.4億，硬件合作伙伴數(shù)量突破15000家；軟件生態(tài)方面，小米全球開發(fā)者規(guī)模達(dá)到120萬(wàn)，國(guó)內(nèi)應(yīng)用生態(tài)每月應(yīng)用分發(fā)量突破11億。
羅福莉在小米大模型團(tuán)隊(duì)不僅僅要擔(dān)任一個(gè)科學(xué)家角色，她需要真正帶領(lǐng)小米做出能夠落地其人車家全生態(tài)產(chǎn)品的AI基座模型及應(yīng)用能力。
12月17日，小米召開2025人車家全生態(tài)合作伙伴大會(huì)。但實(shí)際上，幾乎所有目光都瞄準(zhǔn)了其中一位演講者——Xiaomi Mimo大模型負(fù)責(zé)人羅福莉。
自離開DeepSeek、低調(diào)入職小米后，這是被行業(yè)譽(yù)為“AI天才少女”的羅福莉首次代表小米大模型團(tuán)隊(duì)公開對(duì)外。而大會(huì)開始前，小米發(fā)布并開源了最新MoE大模型MiMo-V2-Flash，這構(gòu)成了羅福莉演講的核心內(nèi)容。
羅福莉在開場(chǎng)時(shí)指出，下一代智能體系統(tǒng)核心圍繞Agent執(zhí)行與Omni（全能）感知，涵蓋記憶、推理、自主規(guī)劃、決策、執(zhí)行多個(gè)維度，應(yīng)當(dāng)從回答問(wèn)題走向完成任務(wù)，并且應(yīng)當(dāng)統(tǒng)一多模態(tài)感知，為理解物理世界打基礎(chǔ)。
她由此表示，MiMo-V2-Flash在研發(fā)之初，主要圍繞三個(gè)關(guān)鍵問(wèn)題展開。
第一，當(dāng)代智能體必須要有高效的溝通語(yǔ)言，即代碼能力和工具調(diào)用能力；第二，“高帶寬”是Agent協(xié)作的關(guān)鍵，因此需要圍繞極致推理效率設(shè)計(jì)模型結(jié)構(gòu)；第三，模型訓(xùn)練范式逐步從預(yù)訓(xùn)練轉(zhuǎn)向后訓(xùn)練，為了激發(fā)后訓(xùn)練的更多潛能，需要高效穩(wěn)定的擴(kuò)展強(qiáng)化學(xué)習(xí)訓(xùn)練。
MiMo-V2-Flash是小米全新一代面向Agent的基座模型，總參數(shù)309B，激活參數(shù)15B，支持256k上下文窗口，整體針對(duì)推理、編碼和Agent場(chǎng)景構(gòu)建，支持混合思維模式，允許用戶切換“思考”和即時(shí)回答模式。
在基準(zhǔn)測(cè)試中，MiMo-V2-Flash的表現(xiàn)整體接近DeepSeek-V3.2，在SWE-Bench Verified/Multiligual、GPQA-Diamond等測(cè)試中略勝一籌，僅在HLE（人類最后的考試）及Arena-Hard（創(chuàng)意寫作評(píng)估）兩項(xiàng)測(cè)試中不及后者。此外，該模型在AIME2025能力上接近GPT-5和Gemini 3.0 Pro。
作為首秀成果，同時(shí)也是小米未來(lái)可能全面落地各個(gè)業(yè)務(wù)場(chǎng)景的智能體模型底座，羅福莉花了大量篇幅重點(diǎn)講述MiMo-V2-Flash的性價(jià)比優(yōu)勢(shì)及其技術(shù)來(lái)由。
目前，MiMo-V2-Flash推理吞吐速度為每秒150個(gè)token，定價(jià)0.7元/每百萬(wàn)輸入token，2.1元/每百萬(wàn)輸出token。
在一張價(jià)格與速度構(gòu)成的坐標(biāo)軸圖標(biāo)中，MiMo-V2-Flash的速度與Gemini-2.5 Pro齊平，但價(jià)格是其約二十分之一；其價(jià)格是DeepSeek V3.2的約一半，但速度是后者的近3倍。
這樣的推理效率主要來(lái)自兩項(xiàng)創(chuàng)新。其一是模型注意力機(jī)制采用了Hybrid Sliding Window Attention（Hybrid SWA/混合滑動(dòng)窗口注意力機(jī)制），其中SWA與Full Attention（全局注意力機(jī)制）的比例是5:1。
羅福莉指出，相較于一些復(fù)雜的Linear Attention（線性注意力機(jī)制），SWA在兼顧長(zhǎng)短文的推理、知識(shí)檢索等方面更勝一籌。
一名AI大模型行業(yè)從業(yè)者對(duì)界面新聞?dòng)浾弑硎荆琒WA本質(zhì)上是一種Sparse Attention（稀疏注意力機(jī)制），業(yè)界普遍利用它解決長(zhǎng)上下文的推理效率問(wèn)題，其最大優(yōu)勢(shì)是可以將KV Cache保持在一個(gè)固定最大值，而不會(huì)隨著上下文擴(kuò)大而無(wú)限增長(zhǎng)，從而實(shí)現(xiàn)降本增效的目的。
他指出，這種機(jī)制核心要考慮的問(wèn)題是在長(zhǎng)文本任務(wù)中受到窗口策略限制可能表現(xiàn)不佳，這也是SWA會(huì)與Full Attention進(jìn)行混合配比的原因之一。
MiMo-V2-Flash另一項(xiàng)重要?jiǎng)?chuàng)新在于MTP（Multi-Token Prediction）。羅福莉表示，團(tuán)隊(duì)在訓(xùn)練時(shí)加入了一層MTP層以提高基座模型能力，并在微調(diào)時(shí)也加入了更多MTP層，最終在推理時(shí)加入了3層MTP，以加速并行token驗(yàn)證的方式實(shí)現(xiàn)了2-2.6倍推理速度的提升。
此外，為了提高強(qiáng)化學(xué)習(xí)訓(xùn)練的穩(wěn)定性，MiMo團(tuán)隊(duì)提出了一種叫做Multi-Teacher On-Policy Distillation（MOPD）的后訓(xùn)練范式。相較于傳統(tǒng)SFT+RL（微調(diào)+強(qiáng)化學(xué)習(xí)）的后訓(xùn)練方式，它可以提供稠密的token level監(jiān)督學(xué)習(xí)信號(hào)，以簡(jiǎn)單快速的方式獲得各個(gè)專家模型的能力。
“我們還發(fā)現(xiàn)一個(gè)很意外的事情，當(dāng)學(xué)生很快超越老師的時(shí)候，我們能不能把老師替換成學(xué)生繼續(xù)自我迭代提升，這是一個(gè)正在進(jìn)行中的工作。”羅福莉預(yù)告稱。
從這場(chǎng)演講可以看出的是，羅福莉在小米大模型團(tuán)隊(duì)不僅僅要擔(dān)任一個(gè)科學(xué)家角色，她需要真正帶領(lǐng)小米做出能夠落地其人車家全生態(tài)產(chǎn)品的AI基座模型及應(yīng)用能力——在汽車、手機(jī)、大家電、智能穿戴等硬件產(chǎn)品線全面開始跨越自己的階段性門檻后，AI能力是小米撐起下一個(gè)十年技術(shù)敘事的核心底座。
羅福莉也幾乎沒(méi)有談?wù)撟约海ㄒ簧婕皥F(tuán)隊(duì)構(gòu)成的表述是，一個(gè)“小而美，卻充滿創(chuàng)業(yè)精神極度好奇、追求真理”的年輕團(tuán)隊(duì)。此外，她認(rèn)為在大模型的能力競(jìng)爭(zhēng)中，算力和數(shù)據(jù)也并非最終的護(hù)城河，“而是科學(xué)的研究文化與方法，是將未知問(wèn)題結(jié)合模型優(yōu)勢(shì)轉(zhuǎn)化可用產(chǎn)品的能力”。
此外，在大會(huì)上，小米集團(tuán)合伙人、集團(tuán)總裁盧偉冰披露了小米“人車家全生態(tài)”的最新進(jìn)展：用戶規(guī)模方面，小米全球月活躍用戶數(shù)達(dá)到7.42億；硬件生態(tài)方面，小米AIoT平臺(tái)連接設(shè)備數(shù)達(dá)到10.4億，硬件合作伙伴數(shù)量突破15000家；軟件生態(tài)方面，小米全球開發(fā)者規(guī)模達(dá)到120萬(wàn)，國(guó)內(nèi)應(yīng)用生態(tài)每月應(yīng)用分發(fā)量突破11億。
本文鏈接：小米大模型負(fù)責(zé)人羅福莉首秀：算力和數(shù)據(jù)也并非最后的護(hù)城河http://m.sq15.cn/show-2-14585-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇： 提升地震監(jiān)測(cè)精準(zhǔn)度！我國(guó)突破強(qiáng)震動(dòng)加速度計(jì)檢定技術(shù)
下一篇： 美團(tuán)優(yōu)選全國(guó)關(guān)停，社區(qū)團(tuán)購(gòu)格局一家獨(dú)大