近日，中國科學院合肥物質科學研究院研究團隊開發出新型AI醫療診斷系統MultiXpert。該系統能夠在“零樣本”條件下對胸片進行智能診斷，無需任何標注數據，甚至可識別出從未見過的疾病，使AI具備更接近醫生診斷思維的能力。
胸片是臨床常用的影像學檢查手段之一，但人工判讀耗時且依賴專家經驗。傳統AI系統在一些任務上能夠媲美專家，卻依賴大量人工標注數據，難以應對新發疾病或不同醫院之間的數據差異，導致模型泛化能力有限，無法滿足復雜臨床環境下精準診斷的需求。
研究團隊提出了多模態雙流協同增強的新思路，構建了無需額外標注數據即可實現零樣本高精度診斷的胸片智能分析系統。該系統能夠同時處理圖像與文字信息，并利用大語言模型和放射科專家知識優化病灶描述，實現圖像與語言的深度融合。這一成果讓AI在未見疾病中也能“看懂”胸片，其思考邏輯更趨近于專業醫生的水平。
在圖像分支中，通過引入病灶感知掩碼機制，MultiXpert能夠在無顯式標注情況下提升對潛在病灶的特征表達能力；通過分層記憶矩陣實現全局解剖信息與局部病灶特征的動態平衡，提升模型對復雜影像的結構化理解能力。在文本分支中，聯合大語言模型與臨床專家知識，MultiXpert能夠對疾病描述進行語義校準與結構化重構，生成同時具備解剖精準性與臨床標準化的病理描述文本，增強醫學語義的表達一致性。通過跨模態語義對齊模塊實現多粒度信息的互補融合，提升了模型在零樣本條件下的病灶識別與診斷性能。實驗結果顯示，MultiXpert在四個單標簽公共數據集上平均AUC提升達7.5%，在零樣本場景下較主流視覺語言模型平均提升3.9%。
這一研究為胸片零樣本智能診斷提供了新的技術路徑，為醫學AI從“依賴標注”邁向“自主理解”提供了新范式。
相關研究成果發表在Information Processing and Management上。研究工作得到國家自然科學基金等的支持。
論文鏈接
多模態雙流協同增強模型MultiXpert結構示意圖
本文鏈接：研究開發出新型AI醫療診斷系統http://m.sq15.cn/show-12-2097-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。