人類能夠對自然界中的物體進行概念化，這一認知能力長期以來被視為人類智能的核心。當我們看到“狗”“汽車”或“蘋果”時，不僅能識別它們的物理特征即尺寸、顏色、形狀等，還能理解其功能、情感價值和文化意義。這種多維度的概念表征構成了人類認知的基石。隨著ChatGPT等大語言模型（LLMs）的爆發式發展，一個根本性問題引起學界關注——這些大模型能否從語言和多模態數據中發展出類似人類的物體概念表征？
近日，中國科學院自動化研究所與腦科學與智能技術卓越創新中心合作，結合行為實驗與神經影像分析，首次證實多模態大語言模型（MLLMs）能夠自發形成與人類高度相似的物體概念表征系統。這項研究為人工智能認知科學開辟了新路徑，更為構建類人認知結構的人工智能系統提供了理論框架。
傳統的人工智能研究聚焦于物體識別準確率，卻鮮少探討模型是否真正“理解”物體含義。自動化所研究員何暉光提出，“當前AI能區分貓狗圖片，但這種‘識別’與人類‘理解’貓狗的本質區別仍有待揭示。”該團隊從認知神經科學經典理論出發，設計了一套融合計算建模、行為實驗與腦科學的創新范式。團隊采用認知心理學經典的“三選一異類識別任務”，要求大模型與人類在物體概念三元組中選出最不相似的選項。通過分析470萬次行為判斷數據，團隊首次構建了AI大模型的“概念地圖”。
該研究在海量大模型行為數據中提取出66個“心智維度”，并為這些維度賦予語義標簽。研究發現，這些維度是高度可解釋的，且與大腦類別選擇區域的神經活動模式顯著相關。研究還對比了多個模型在行為選擇模式上與人類的一致性。結果顯示，多模態大模型在一致性方面表現更優。
進一步，研究發現，人類在做決策時更傾向于結合視覺特征和語義信息進行判斷，而大模型則傾向于依賴語義標簽和抽象概念。研究表明，大語言模型內部存在著類似人類對現實世界概念的理解。
相關研究成果發表在《自然-機器智能》（Nature Machine Intelligence）上。研究工作得到國家自然科學基金、中國科學院基礎與交叉前沿科研先導專項、北京市自然科學基金及腦認知與類腦智能全國重點實驗室的支持。
論文鏈接
代碼
數據集
實驗范式示意圖。a、物體概念集及帶有語言描述的圖像示例；b-d、分別針對LLM、MLLM和人類的行為實驗范式和概念嵌入空間。
本文鏈接：研究揭示多模態大模型涌現類人物體概念表征http://m.sq15.cn/show-12-1253-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 教育部黨組理論學習中心組舉行集體學習會