“眸思”與復旦自然語言處理實驗室開發的MOSS同音，但和基于文本的MOSS不同，它能夠理解并識別圖片內容，致力于成為視障者的一雙“眸”。
團隊從基于GPT3.5的文本模型轉向圍繞GPT4-v復現多模態大模型，對模型中的核心關鍵點開展研究，致力于提升單項任務的準確率和大模型的強化學習。在基于幾億張圖片訓練出的“眸思”大模型基礎上，針對視障者提出的各類需求，團隊使用上萬張圖片進行特殊樣本訓練，使“眸思”具備能夠適配更多場景的能力。
據了解，基于“眸思”的“聽見世界”APP針對視障者日常生活需求，設計了3種模式：街道行走模式，“眸思”可以細致掃描道路情況并提示潛在風險，陪伴視障者安全通行；自由問答模式，不論是博物館、藝術館，還是公園，“眸思”能夠捕捉四周景象的每個細節，用聲音構建豐富的生活場景。
預計今年3月，“聽見世界”APP將完成第一輪測試，在我國一、二線城市和地區同步開啟試點，根據算力部署情況進行推廣。更多模式也正在開發中，比如閱讀模式，服務盲人朋友點菜、讀書等場景，解說模式，承擔無障礙電影解說員的工作。
今年上半年，團隊將結合AR升級APP內的定位精度細化至亞米級別；下半年，團隊希望將“眸思”升級到基于視頻的判斷。復旦大學自然語言實驗室教授張奇表示：“人工智能發展日新月異，科技應該要改變更多人的生活，希望‘眸思’能夠幫助視障人士走出家門，讓他們可以嘗試更多工作，為人生書寫更多可能。”
本文鏈接：“復旦·眸思”助力視障者“看見”世界http://m.sq15.cn/show-11-3447-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
下一篇： 微塑料多樣性影響微生物網絡復雜度和穩定性