人民網(wǎng)北京12月16日電 （記者趙竹青）當(dāng)我們看到“玫瑰”時(shí)，大腦只是單純地在“看”嗎？最新一項(xiàng)研究發(fā)現(xiàn)，語(yǔ)言不僅塑造我們的思維，也可能在潛移默化中改變我們“看世界”的方式。
這項(xiàng)由北京大學(xué)聯(lián)合北京師范大學(xué)、山西醫(yī)科大學(xué)第一醫(yī)院合作完成的研究，于12月15日發(fā)表在國(guó)際期刊《自然·人類(lèi)行為》上。論文題為《結(jié)合人工神經(jīng)網(wǎng)絡(luò)與人類(lèi)腦損傷模型證據(jù)揭示語(yǔ)言調(diào)節(jié)人類(lèi)視覺(jué)感知》。
研究結(jié)合了人工智能模型與健康人群和腦卒中患者的腦影像數(shù)據(jù)，為“語(yǔ)言是否影響感知”這一心理學(xué)核心問(wèn)題提供了新證據(jù)，也展示了人工智能與腦科學(xué)相互啟發(fā)的研究范式。
語(yǔ)言到底會(huì)不會(huì)影響我們“看”世界？
“語(yǔ)言會(huì)不會(huì)影響感知？”這是心理學(xué)、語(yǔ)言學(xué)乃至哲學(xué)中持續(xù)爭(zhēng)論的重要問(wèn)題。
支持者認(rèn)為，語(yǔ)言為人類(lèi)劃定了理解世界的邊界，即“有什么詞，就看見(jiàn)什么差別”；而反對(duì)者則認(rèn)為，視覺(jué)、聽(tīng)覺(jué)等感知系統(tǒng)獨(dú)立于語(yǔ)言而運(yùn)行，不受其影響。這一問(wèn)題之所以難解，是因?yàn)樵谌祟?lèi)發(fā)展中，語(yǔ)言與視覺(jué)經(jīng)驗(yàn)幾乎總是同時(shí)出現(xiàn)，難以在實(shí)驗(yàn)中加以區(qū)分。
如今，人工智能的發(fā)展為解開(kāi)這一經(jīng)典難題帶來(lái)了新的契機(jī)。
論文通訊作者之一、北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院與人工智能研究院助理教授朱毅鑫解釋?zhuān)骸癆I模型就像一個(gè)可控的‘?dāng)?shù)字實(shí)驗(yàn)室’，我們可以人為決定它是否學(xué)習(xí)語(yǔ)言，再觀(guān)察不同學(xué)習(xí)經(jīng)歷是否導(dǎo)致‘看世界’方式的差異。”
研究團(tuán)隊(duì)比較了兩類(lèi)AI模型：一類(lèi)只學(xué)習(xí)過(guò)圖像（純視覺(jué)模型），另一類(lèi)同時(shí)學(xué)習(xí)過(guò)圖像和文字（視覺(jué)–語(yǔ)言模型）。隨后，將這兩類(lèi)模型的內(nèi)部表征，與人類(lèi)大腦視覺(jué)皮層在四組健康人群中的活動(dòng)模式進(jìn)行比對(duì)。
結(jié)果顯示，視覺(jué)–語(yǔ)言模型與人腦視覺(jué)皮層的活動(dòng)模式更為相似，尤其集中在左半球，即人類(lèi)語(yǔ)言加工的主導(dǎo)區(qū)域。更令人驚訝的是，這一模式在使用手語(yǔ)的聾人中同樣存在，說(shuō)明語(yǔ)言經(jīng)驗(yàn)，無(wú)論是口語(yǔ)還是手語(yǔ)，都在視覺(jué)加工中留下系統(tǒng)性的印記。
“簡(jiǎn)單來(lái)說(shuō)，被語(yǔ)言‘指導(dǎo)’過(guò)的AI視覺(jué)模型，看世界的方式更接近人腦。”論文共同第一作者、北京大學(xué)博士生陳昊揚(yáng)說(shuō)。
腦卒中患者提供的“天然對(duì)照實(shí)驗(yàn)”
然而，AI模型與人腦的相似性，并不能直接證明語(yǔ)言在其中起了因果作用。
為此，團(tuán)隊(duì)將目光轉(zhuǎn)向了一個(gè)特殊群體——腦卒中患者。腦卒中常會(huì)損傷連接語(yǔ)言區(qū)與視覺(jué)區(qū)的白質(zhì)纖維通路，為科學(xué)家提供了一個(gè)“天然對(duì)照實(shí)驗(yàn)”。
研究結(jié)果表明：患者語(yǔ)言–視覺(jué)通路受損越嚴(yán)重，其視覺(jué)腦區(qū)活動(dòng)越像“純視覺(jué)模型”，而越不像“視覺(jué)–語(yǔ)言模型”。當(dāng)語(yǔ)言-視覺(jué)通路被破壞，語(yǔ)言對(duì)視覺(jué)的調(diào)節(jié)作用隨之消失，成為“語(yǔ)言調(diào)節(jié)視覺(jué)”的直接證據(jù)。
論文共同第一作者劉擘表示：“腦損傷患者的數(shù)據(jù)，讓我們看到了人腦中語(yǔ)言通過(guò)與視覺(jué)皮層連接的神經(jīng)通路調(diào)控視覺(jué)功能的必要性。”
研究過(guò)程中，腦卒中患者的數(shù)據(jù)獲取極具挑戰(zhàn)。患者普遍存在注意力有限、體力不足的情況，要在狹窄的磁共振儀里保持靜止二十分鐘以上十分困難，研究團(tuán)隊(duì)反復(fù)優(yōu)化實(shí)驗(yàn)設(shè)計(jì)，使任務(wù)既足夠簡(jiǎn)單讓患者理解，又能有效激活視覺(jué)皮層。同時(shí)，由于每位患者的病灶位置都不同，就像“指紋”一樣獨(dú)特，團(tuán)隊(duì)需要為每位患者手工標(biāo)注病灶、一人一策地定制分析方案，并進(jìn)行嚴(yán)格的數(shù)據(jù)篩選。
論文通訊作者之一、山西醫(yī)科大學(xué)王效春醫(yī)生感慨道：“這項(xiàng)研究的完成離不開(kāi)醫(yī)院團(tuán)隊(duì)、心理學(xué)者和患者家屬的信任與支持。”
AI與腦科學(xué)如何“相互照亮”？
這一跨學(xué)科研究展示了人工智能與腦科學(xué)“相互賦能”的新模式。
據(jù)介紹，傳統(tǒng)腦科學(xué)通過(guò)各種手段記錄神經(jīng)活動(dòng)揭示大腦結(jié)構(gòu)與功能的對(duì)應(yīng)，但難以精確刻畫(huà)這些神經(jīng)活動(dòng)所“計(jì)算”的信息內(nèi)容。人工智能模型的引入，使研究者能夠在一個(gè)可控的“數(shù)字化認(rèn)知實(shí)驗(yàn)室”中模擬人腦的學(xué)習(xí)與表征過(guò)程，從而探查語(yǔ)言如何塑造感知。
此前已有研究使用AI對(duì)大腦建模，但往往停留在相關(guān)性層面。而在本研究中，腦損傷患者的參與為模型提供了罕見(jiàn)的因果驗(yàn)證：當(dāng)大腦的語(yǔ)言–視覺(jué)通路被自然“切斷”時(shí)，AI模型所預(yù)測(cè)的模式確實(shí)出現(xiàn)在人腦之中。
論文通訊作者、北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院及人工智能研究院教授畢彥超總結(jié)道：“我們用AI模型理解大腦，而腦損傷患者的腦活動(dòng)又反過(guò)來(lái)驗(yàn)證了模型的機(jī)制。這讓AI與腦科學(xué)第一次真正閉合成一個(gè)實(shí)驗(yàn)循環(huán)，形成了腦科學(xué)研究的新范式。未來(lái)AI會(huì)越來(lái)越多地輔助腦科學(xué)研究，幫助我們探索大腦的奧秘、幫助更多的病人。”
朱毅鑫進(jìn)一步補(bǔ)充：“我們發(fā)現(xiàn)，語(yǔ)言在大腦視覺(jué)系統(tǒng)中扮演了組織和調(diào)節(jié)的角色。這啟發(fā)我們思考：真正的智能，也許需要像人腦一樣，讓語(yǔ)言去統(tǒng)籌感知、記憶和推理，而不是簡(jiǎn)單地并列處理多種模態(tài)。”
“腦科學(xué)與人工智能不是兩條平行線(xiàn)，而是一面鏡子。我們借助AI理解人腦，也讓人腦的認(rèn)知實(shí)驗(yàn)研究為AI發(fā)展照亮方向。”畢彥超說(shuō)。