近日，APUS與深圳大學(xué)大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)國(guó)家工程實(shí)驗(yàn)室（以下簡(jiǎn)稱(chēng)“大數(shù)據(jù)國(guó)家工程實(shí)驗(yàn)室”）聯(lián)合訓(xùn)練伶荔Linly-70B中文大模型，并在GitHub上正式首發(fā)開(kāi)源，這是APUS大模型3.0的首個(gè)開(kāi)源大模型。
據(jù)了解，APUS大模型3.0伶荔在中文基準(zhǔn)測(cè)評(píng)榜單C-Eval上評(píng)分80.6分，中文能力超越GPT-4，在所有參評(píng)模型中排名第三，相比原始開(kāi)源模型標(biāo)桿LLaMa2-70B取得了大幅提升。
值得注意的是，大數(shù)據(jù)國(guó)家工程實(shí)驗(yàn)室由深圳大學(xué)牽頭，與國(guó)家信息中心、清華大學(xué)和騰訊科技等聯(lián)合建設(shè)；更有中國(guó)科學(xué)院陳國(guó)良院士、國(guó)家重點(diǎn)研發(fā)項(xiàng)目首席科學(xué)家李堅(jiān)強(qiáng)等一批拔尖人才組成研發(fā)組，實(shí)驗(yàn)室副主任沈琳琳教授領(lǐng)導(dǎo)的伶荔項(xiàng)目團(tuán)隊(duì)支撐了此次模型的聯(lián)合訓(xùn)練和開(kāi)源發(fā)布。
此次APUS與大數(shù)據(jù)國(guó)家工程實(shí)驗(yàn)室聯(lián)合訓(xùn)練開(kāi)源的APUS大模型3.0伶荔中文大模型，進(jìn)一步推動(dòng)了AI技術(shù)創(chuàng)新與國(guó)內(nèi)場(chǎng)景應(yīng)用深化融合。“伶荔是國(guó)內(nèi)僅有的幾家700億參數(shù)規(guī)模的中文開(kāi)源大模型之一，相信能讓更多國(guó)人開(kāi)發(fā)者參與到人工智能產(chǎn)業(yè)大潮中。”伶荔項(xiàng)目團(tuán)隊(duì)李煜東博士如此表示。
可以看到，APUS大模型3.0伶荔中文大模型在詞表大小、訓(xùn)練語(yǔ)料等方面進(jìn)行了定制化調(diào)優(yōu)，基于模塊化增量預(yù)訓(xùn)練框架開(kāi)發(fā)，針對(duì)中文場(chǎng)景擴(kuò)充詞表，增加漢字和中文符號(hào)支持，實(shí)現(xiàn)綜合性能達(dá)到同量級(jí)開(kāi)源模型的領(lǐng)先水平。在語(yǔ)料訓(xùn)練上，APUS大模型3.0伶荔采用高質(zhì)量中英文公開(kāi)數(shù)據(jù)源包括悟道、萬(wàn)卷、MNBVC等，并結(jié)合自研數(shù)據(jù)選擇策略，構(gòu)成模型高效訓(xùn)練的混合語(yǔ)料庫(kù)。基于APUS鄭州智算中心的算力支持，APUS大模型3.0伶荔耗時(shí)3個(gè)月完成訓(xùn)練，當(dāng)前上下文長(zhǎng)度設(shè)定為4K（約8000-10000漢字）。
此外，伶荔項(xiàng)目團(tuán)隊(duì)還提出課程學(xué)習(xí)策略，基于動(dòng)態(tài)數(shù)據(jù)采樣，在訓(xùn)練中調(diào)整數(shù)據(jù)的分布，實(shí)現(xiàn)將模型的英文語(yǔ)言能力平穩(wěn)遷移學(xué)習(xí)到中文能力領(lǐng)域，為訓(xùn)練出高性能中文大模型提供有力保障。
隨著APUS大模型3.0伶荔的聯(lián)合發(fā)布、開(kāi)源，國(guó)產(chǎn)開(kāi)源大模型向構(gòu)建中文場(chǎng)景大型語(yǔ)言模型又邁出了重要一步。此次合作也是雙方深化踐行“為中國(guó)定制人工智能大模型，積極構(gòu)建人工智能生態(tài)，讓大模型應(yīng)用和價(jià)值創(chuàng)造接軌”戰(zhàn)略的重要舉措。
據(jù)悉，APUS還將與大數(shù)據(jù)國(guó)家工程實(shí)驗(yàn)室持續(xù)推動(dòng)模型的能力提升和應(yīng)用拓展，積極探索深化大模型在工具使用、劇情生成和角色扮演、醫(yī)療等領(lǐng)域的專(zhuān)業(yè)能力，聚力構(gòu)建大模型生態(tài)，讓為中國(guó)打造的AI大模型真正驅(qū)動(dòng)中國(guó)AI產(chǎn)業(yè)高質(zhì)量發(fā)展，實(shí)現(xiàn)價(jià)值共創(chuàng)，賦能千行萬(wàn)業(yè)。
近日，APUS與深圳大學(xué)大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)國(guó)家工程實(shí)驗(yàn)室（以下簡(jiǎn)稱(chēng)“大數(shù)據(jù)國(guó)家工程實(shí)驗(yàn)室”）聯(lián)合訓(xùn)練伶荔Linly-70B中文大模型，并在GitHub上正式首發(fā)開(kāi)源，這是APUS大模型3.0的首個(gè)開(kāi)源大模型。
據(jù)了解，APUS大模型3.0伶荔在中文基準(zhǔn)測(cè)評(píng)榜單C-Eval上評(píng)分80.6分，中文能力超越GPT-4，在所有參評(píng)模型中排名第三，相比原始開(kāi)源模型標(biāo)桿LLaMa2-70B取得了大幅提升。
值得注意的是，大數(shù)據(jù)國(guó)家工程實(shí)驗(yàn)室由深圳大學(xué)牽頭，與國(guó)家信息中心、清華大學(xué)和騰訊科技等聯(lián)合建設(shè)；更有中國(guó)科學(xué)院陳國(guó)良院士、國(guó)家重點(diǎn)研發(fā)項(xiàng)目首席科學(xué)家李堅(jiān)強(qiáng)等一批拔尖人才組成研發(fā)組，實(shí)驗(yàn)室副主任沈琳琳教授領(lǐng)導(dǎo)的伶荔項(xiàng)目團(tuán)隊(duì)支撐了此次模型的聯(lián)合訓(xùn)練和開(kāi)源發(fā)布。
此次APUS與大數(shù)據(jù)國(guó)家工程實(shí)驗(yàn)室聯(lián)合訓(xùn)練開(kāi)源的APUS大模型3.0伶荔中文大模型，進(jìn)一步推動(dòng)了AI技術(shù)創(chuàng)新與國(guó)內(nèi)場(chǎng)景應(yīng)用深化融合。“伶荔是國(guó)內(nèi)僅有的幾家700億參數(shù)規(guī)模的中文開(kāi)源大模型之一，相信能讓更多國(guó)人開(kāi)發(fā)者參與到人工智能產(chǎn)業(yè)大潮中。”伶荔項(xiàng)目團(tuán)隊(duì)李煜東博士如此表示。
可以看到，APUS大模型3.0伶荔中文大模型在詞表大小、訓(xùn)練語(yǔ)料等方面進(jìn)行了定制化調(diào)優(yōu)，基于模塊化增量預(yù)訓(xùn)練框架開(kāi)發(fā)，針對(duì)中文場(chǎng)景擴(kuò)充詞表，增加漢字和中文符號(hào)支持，實(shí)現(xiàn)綜合性能達(dá)到同量級(jí)開(kāi)源模型的領(lǐng)先水平。在語(yǔ)料訓(xùn)練上，APUS大模型3.0伶荔采用高質(zhì)量中英文公開(kāi)數(shù)據(jù)源包括悟道、萬(wàn)卷、MNBVC等，并結(jié)合自研數(shù)據(jù)選擇策略，構(gòu)成模型高效訓(xùn)練的混合語(yǔ)料庫(kù)?；贏PUS鄭州智算中心的算力支持，APUS大模型3.0伶荔耗時(shí)3個(gè)月完成訓(xùn)練，當(dāng)前上下文長(zhǎng)度設(shè)定為4K（約8000-10000漢字）。
此外，伶荔項(xiàng)目團(tuán)隊(duì)還提出課程學(xué)習(xí)策略，基于動(dòng)態(tài)數(shù)據(jù)采樣，在訓(xùn)練中調(diào)整數(shù)據(jù)的分布，實(shí)現(xiàn)將模型的英文語(yǔ)言能力平穩(wěn)遷移學(xué)習(xí)到中文能力領(lǐng)域，為訓(xùn)練出高性能中文大模型提供有力保障。
隨著APUS大模型3.0伶荔的聯(lián)合發(fā)布、開(kāi)源，國(guó)產(chǎn)開(kāi)源大模型向構(gòu)建中文場(chǎng)景大型語(yǔ)言模型又邁出了重要一步。此次合作也是雙方深化踐行“為中國(guó)定制人工智能大模型，積極構(gòu)建人工智能生態(tài)，讓大模型應(yīng)用和價(jià)值創(chuàng)造接軌”戰(zhàn)略的重要舉措。
據(jù)悉，APUS還將與大數(shù)據(jù)國(guó)家工程實(shí)驗(yàn)室持續(xù)推動(dòng)模型的能力提升和應(yīng)用拓展，積極探索深化大模型在工具使用、劇情生成和角色扮演、醫(yī)療等領(lǐng)域的專(zhuān)業(yè)能力，聚力構(gòu)建大模型生態(tài)，讓為中國(guó)打造的AI大模型真正驅(qū)動(dòng)中國(guó)AI產(chǎn)業(yè)高質(zhì)量發(fā)展，實(shí)現(xiàn)價(jià)值共創(chuàng)，賦能千行萬(wàn)業(yè)。
本文鏈接：趕超GPT-4！APUS大模型3.0伶荔問(wèn)世http://m.sq15.cn/show-2-2779-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇： 上交所專(zhuān)項(xiàng)工作組調(diào)研進(jìn)行時(shí)：已走訪 30 余家科創(chuàng)板上市公司