腦啟發(fā)神經(jīng)環(huán)路演化賦能脈沖神經(jīng)網(wǎng)絡(luò)創(chuàng)新
中國網(wǎng)/中國發(fā)展門戶網(wǎng)訊 近日,中國科學(xué)院自動(dòng)化研究所曾毅研究員負(fù)責(zé)的類腦認(rèn)知智能團(tuán)隊(duì)在《美國國家科學(xué)院院刊(Proceedings of the National Academy of Sciences, PNAS)》上發(fā)表了一篇題為“腦啟發(fā)神經(jīng)環(huán)路演化賦能脈沖神經(jīng)網(wǎng)絡(luò)(Brain-inspired neural circuit evolution for spiking neural networks)”的新研究。他們受經(jīng)過自然演化的生物腦神經(jīng)環(huán)路結(jié)構(gòu)呈現(xiàn)出的多樣性以及脈沖時(shí)序依賴可塑性機(jī)制啟發(fā),提出了腦啟發(fā)的神經(jīng)環(huán)路演化策略, 助力研發(fā)更具生物合理性和高效性的類腦脈沖神經(jīng)網(wǎng)絡(luò)。
在生物神經(jīng)系統(tǒng)中,不同類型的神經(jīng)元能夠自組織成連接模式各異的神經(jīng)環(huán)路,以在結(jié)構(gòu)上支持實(shí)現(xiàn)豐富的認(rèn)知功能。人腦中不同類型的神經(jīng)環(huán)路及其自適應(yīng)能力促進(jìn)了人類感知、學(xué)習(xí)、決策及其他高等認(rèn)知功能的實(shí)現(xiàn)。然而,當(dāng)前的脈沖神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)范式大多基于深度學(xué)習(xí)領(lǐng)域的結(jié)構(gòu)啟發(fā)。這些結(jié)構(gòu)主要由前饋連接占據(jù)主導(dǎo)地位,而沒有考慮到不同類型的神經(jīng)元,顯著阻礙了脈沖神經(jīng)網(wǎng)絡(luò)在復(fù)雜任務(wù)上發(fā)揮其潛力。從計(jì)算視角挖掘生物神經(jīng)環(huán)路的豐富動(dòng)力學(xué)特性及其意義,并應(yīng)用于當(dāng)前類腦脈沖神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)從而提升人工智能系統(tǒng)的能力,仍然是一個(gè)深刻而具有開放性的挑戰(zhàn)。
曾毅研究員團(tuán)隊(duì)以前饋和反饋連接與興奮性和抑制性神經(jīng)元結(jié)合為基礎(chǔ),為智能演化的計(jì)算建模提供了更具生物合理性的演化空間。研究利用神經(jīng)元的局部脈沖行為,通過脈沖時(shí)序依賴可塑性的局部規(guī)則,自適應(yīng)地演化出通過自然演化生成的功能性神經(jīng)環(huán)路,如前向興奮、前向抑制、反饋抑制和側(cè)向抑制,并結(jié)合全局誤差信號(hào)更新突觸權(quán)重。通過融入演化生成的神經(jīng)環(huán)路,本研究構(gòu)建了用于圖像分類和強(qiáng)化學(xué)習(xí)與決策任務(wù)的類腦脈沖神經(jīng)網(wǎng)絡(luò)。利用受腦啟發(fā)的神經(jīng)環(huán)路演化策略(NeuEvo)以及演化出的豐富的類神經(jīng)環(huán)路類型,演化后的類腦脈沖神經(jīng)網(wǎng)絡(luò)極大地增強(qiáng)了感知、強(qiáng)化學(xué)習(xí)與決策能力。
曾毅研究員表示:“此次研究以計(jì)算建模的方式模擬了自然結(jié)構(gòu)演化中的用進(jìn)廢退,并以此為基礎(chǔ)自主演化出了豐富的神經(jīng)環(huán)路類型,最有意思的是這些環(huán)路類型在自然生物的大腦中都是存在的,而且我們的實(shí)驗(yàn)證明了這些結(jié)構(gòu)能夠更好地幫助解決學(xué)習(xí)與決策等智能相關(guān)的核心問題,自然演化中存在即合理,這給未來的通用類腦認(rèn)知智能的研究無限啟發(fā)。”
中國科學(xué)院自動(dòng)化研究所博士生申國斌、趙東城助理研究員為本論文共同第一作者,曾毅研究員為通訊作者,博士生董一廷為共同作者。
利用腦啟發(fā)神經(jīng)演化構(gòu)建的類腦脈沖神經(jīng)網(wǎng)絡(luò)
A.神經(jīng)環(huán)路結(jié)構(gòu)的演化過程. B. 不同神經(jīng)環(huán)路的示意圖C. NeuEvo 獲得的復(fù)雜環(huán)路的示例