8月4日，騰訊混元宣布開源4款小尺寸模型，參數規模分別為0.5B、1.8B、4B、7B，消費級顯卡即可運行，適用于筆記本電腦、手機、智能座艙、智能家居等低功耗端側場景，且支持垂直領域低成本微調。
據介紹，新開源的4個模型屬于融合推理模型，具備推理速度快、性價比高的特點，用戶可根據使用場景靈活選擇模型思考模式——快思考模式提供簡潔、高效的輸出；而慢思考涉及解決復雜問題，具備更全面的推理步驟。效果上，四個模型均實現了跟業界同尺寸模型的對標，特別是在語言理解、數學、推理等領域有出色表現。
這4款模型的亮點在于agent和長文能力，模型支持上下文窗口可達256k，可以一次性記住并處理相當于40萬中文漢字或50萬英文單詞的超長內容，在實際應用中可勝任深度搜索、excel 操作、旅行攻略規劃等任務。
騰訊方面表示，目前這4款模型已經在騰訊多個業務中應用，可用性和實用性經過了實踐檢驗，是真正實用的模型。如，騰訊手機管家利用小尺寸模型可提升垃圾短信識別準確率，實現毫秒級攔截，隱私零上傳。部署要求上，這4個模型均只需單卡即可部署，部分個人電腦、手機、平板等設備可直接接入。并且，模型具有較強的開放性，主流推理框架（如SGLang，vLLM and TensorRT-LLM）和多種量化格式均能支持。
近期，全球開源社區分外熱鬧，中國大模型表現搶眼。騰訊混元大語言模型也在持續推進開源，參與技術社區的共建之中，其開源模型已覆蓋文本、圖像、視頻和3D生成等多個模態。騰訊方面表示，開源是騰訊混元大模型長期堅持的方向，未來騰訊混元也將不斷提升模型能力，繼續積極擁抱開源，加速產業落地和應用。
目前，4款模型均在Github 和 HuggingFace 等開源社區上線，Arm、高通、Intel、聯發科技等多個消費級終端芯片平臺也都宣布支持部署。
本文鏈接：手機就能跑！騰訊推出4款可端側部署的開源模型http://m.sq15.cn/show-11-24297-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 第19屆復合醫學工程國際會議召開