【ZiDongHua 之“智能自動(dòng)化”收錄關(guān)鍵詞：中科院自動(dòng)所 腦科學(xué)研究 多模態(tài)大模型 人工智能 智能自動(dòng)化】

AI自發(fā)形成人類級(jí)認(rèn)知!自動(dòng)化所團(tuán)隊(duì)揭示多模態(tài)大模型涌現(xiàn)類人物體概念表征

人類能夠?qū)ψ匀唤缰械奈矬w進(jìn)行概念化，這一認(rèn)知能力長期以來被視為人類智能的核心。當(dāng)我們看到“狗”“汽車”或“蘋果”時(shí)，不僅能識(shí)別它們的物理特征(尺寸、顏色、形狀等)，還能理解其功能、情感價(jià)值和文化意義——這種多維度的概念表征構(gòu)成了人類認(rèn)知的基石。

隨著ChatGPT等大語言模型(LLMs)的爆發(fā)式發(fā)展，一個(gè)根本性問題浮出水面：這些大模型能否從語言和多模態(tài)數(shù)據(jù)中發(fā)展出類似人類的物體概念表征?

近日，中國科學(xué)院自動(dòng)化研究所神經(jīng)計(jì)算與腦機(jī)交互(NeuBCI)課題組與中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心的聯(lián)合團(tuán)隊(duì)結(jié)合行為實(shí)驗(yàn)與神經(jīng)影像分析，首次證實(shí)多模態(tài)大語言模型(MLLMs)能夠自發(fā)形成與人類高度相似的物體概念表征系統(tǒng)。這項(xiàng)研究不僅為人工智能認(rèn)知科學(xué)開辟了新路徑，更為構(gòu)建類人認(rèn)知結(jié)構(gòu)的人工智能系統(tǒng)提供了理論框架。相關(guān)研究成果以Human-like object concept representations emerge naturally in multimodal large language models為題，發(fā)表于《自然·機(jī)器智能》(Nature Machine Intelligence)。

從“機(jī)器識(shí)別”到“機(jī)器理解”的跨越

傳統(tǒng)人工智能研究聚焦于物體識(shí)別準(zhǔn)確率，卻鮮少探討模型是否真正“理解”物體含義。論文通訊作者何暉光研究員指出：“當(dāng)前AI能區(qū)分貓狗圖片，但這種‘識(shí)別’與人類‘理解’貓狗的本質(zhì)區(qū)別仍有待揭示。”團(tuán)隊(duì)從認(rèn)知神經(jīng)科學(xué)經(jīng)典理論出發(fā)，設(shè)計(jì)了一套融合計(jì)算建模、行為實(shí)驗(yàn)與腦科學(xué)的創(chuàng)新范式。研究采用認(rèn)知心理學(xué)經(jīng)典的“三選一異類識(shí)別任務(wù)”(triplet odd-one-out)，要求大模型與人類從物體概念三元組(來自1854種日常概念的任意組合)中選出最不相似的選項(xiàng)。通過分析470萬次行為判斷數(shù)據(jù)，團(tuán)隊(duì)首次構(gòu)建了AI大模型的“概念地圖”。

 

實(shí)驗(yàn)范式示意圖。a，物體概念集及帶有語言描述的圖像示例。b-d，分別針對(duì) LLM、MLLM 和人類的行為實(shí)驗(yàn)范式和概念嵌入空間。

核心發(fā)現(xiàn)：AI的“心智維度”與人類殊途同歸

 

研究人員從海量大模型行為數(shù)據(jù)中提取出66個(gè)“心智維度”，并為這些維度賦予了語義標(biāo)簽。研究發(fā)現(xiàn)，這些維度是高度可解釋的，且與大腦類別選擇區(qū)域(如處理面孔的FFA、處理場景的PPA、處理軀體的EBA)的神經(jīng)活動(dòng)模式顯著相關(guān)。

研究還對(duì)比了多個(gè)模型在行為選擇模式上與人類的一致性(Human consistency)。結(jié)果顯示，多模態(tài)大模型(如 Gemini_Pro_Vision、Qwen2_VL)在一致性方面表現(xiàn)更優(yōu)。此外，研究還揭示了人類在做決策時(shí)更傾向于結(jié)合視覺特征和語義信息進(jìn)行判斷，而大模型則傾向于依賴語義標(biāo)簽和抽象概念。本研究表明大語言模型并非“隨機(jī)鸚鵡”，其內(nèi)部存在著類似人類對(duì)現(xiàn)實(shí)世界概念的理解。

自動(dòng)化所副研究員杜長德為論文第一作者，何暉光研究員為論文通訊作者。主要合作者還包括腦智卓越中心的常樂研究員等。該研究得到了中國科學(xué)院基礎(chǔ)與交叉前沿科研先導(dǎo)專項(xiàng)、國家自然科學(xué)基金、北京市自然科學(xué)基金項(xiàng)目以及腦認(rèn)知與類腦智能全國重點(diǎn)實(shí)驗(yàn)室的資助。

 

論文信息
Changde Du, Kaicheng Fu, Bincheng Wen, Yi Sun, Jie Peng, Wei Wei, Ying Gao, Shengpei Wang, Chuncheng Zhang, Jinpeng Li, Shuang Qiu, Le Chang, Huiguang He. Human-like object concept representations emerge naturally in multimodal large language models. Nature Machine Intelligence (2025).
DOI:
10.1038/s42256-025-01049-z
全文鏈接：
https://www.nature.com/articles/s42256-025-01049-z
代碼：
https://github.com/ChangdeDu/LLMs_core_dimensions 
數(shù)據(jù)集：
https://osf.io/qn5uv/