《西游記》中，齊天大圣孫悟空有一個經(jīng)典技能——“猴毛分身”，即一把猴毛能變出一大群小猴子。

近日，柏林工業(yè)大學(xué)官網(wǎng)介紹了其研究團(tuán)隊(duì)用一個神經(jīng)元構(gòu)建神經(jīng)“網(wǎng)絡(luò)”，即一個神經(jīng)元扮演所有虛擬神經(jīng)元的角色。

他們稱之為“分布在時間而不是空間上”的一類全新的神經(jīng)網(wǎng)絡(luò)。研究人員在計(jì)算機(jī)上模擬了數(shù)千個神經(jīng)細(xì)胞的神經(jīng)網(wǎng)絡(luò)，只有一個神經(jīng)元被編程到軟件代碼中。神經(jīng)元被激活并延遲讀取，于是可以在幾分之一秒內(nèi)扮演所有虛擬神經(jīng)元的角色。

他們期望用這個方法解決目前人工智能發(fā)展過程中面對的兩個硬件挑戰(zhàn)——芯片的算力限制與超級計(jì)算機(jī)的電力消耗。

人類大腦有約860億個神經(jīng)元，這些神經(jīng)元通過突觸連接，并通過電和化學(xué)信號傳輸在一個龐大的網(wǎng)絡(luò)中相互通信。人工神經(jīng)網(wǎng)絡(luò)的核心就是通過在各個神經(jīng)元之間建立不同程度的連接來模擬人腦。

在傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)中，可以對每個神經(jīng)元進(jìn)行加權(quán)以微調(diào)結(jié)果。通常是更多的神經(jīng)元產(chǎn)生更多的參數(shù)，而更多的參數(shù)產(chǎn)生更好的結(jié)果。以GPT-3為例，GPT-3有1750億個參數(shù)，是其前身GPT-2的100倍。

但代價(jià)之一就是大量的能量消耗。Carbontracker估計(jì)，訓(xùn)練GPT-3一次所需的電量與丹麥126戶家庭每年使用的電量相同。

據(jù)《The Register》報(bào)道，在微軟數(shù)據(jù)中心使用英偉達(dá)GPU訓(xùn)練神經(jīng)超級網(wǎng)絡(luò)大約需要19萬千瓦時。按美國的平均碳強(qiáng)度計(jì)算，這將產(chǎn)生8.5萬公斤的當(dāng)量，與一輛新車在歐洲行駛70萬公里產(chǎn)生的量相同，大約是地球和月球之間距離的兩倍。

柏林工業(yè)大學(xué)的研究團(tuán)隊(duì)希望構(gòu)建一個使用單個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)來挑戰(zhàn)神經(jīng)網(wǎng)絡(luò)越大越好的想法。研究題為《使用單個神經(jīng)元的深度神經(jīng)網(wǎng)絡(luò)：使用反饋調(diào)制延遲環(huán)的時間折疊架構(gòu)》（Deep neural networks using a single neuron: folded-in-time architecture using feedback-modulated delay loops）登上《Nature》子刊《Communication》。

“我們設(shè)計(jì)了一種多層前饋DNN完全及時折疊的方法。這種Fit-DNN（時間折疊深度神經(jīng)網(wǎng)絡(luò)）方法只需要一個帶有反饋調(diào)制延遲環(huán)的神經(jīng)元。通過非線性操作的時間序列化，可以實(shí)現(xiàn)任意深度或?qū)挾鹊腄NN?！闭撐闹袑懙?。

研究團(tuán)隊(duì)發(fā)現(xiàn)，他們可以通過隨著時間的推移對相同的神經(jīng)元進(jìn)行不同的加權(quán)，而不是在空間上散布不同加權(quán)的神經(jīng)元，從而實(shí)現(xiàn)類似的功能。這類似于單個客人通過迅速切換座位并說出每個部分來模擬大型餐桌上的對話。

這個“迅速”是接近光速的間隔。該團(tuán)隊(duì)表示，他們的系統(tǒng)理論上可以通過激光在神經(jīng)元中激發(fā)基于時間的反饋回路來達(dá)到接近宇宙極限的速度——以光速或接近光速的神經(jīng)網(wǎng)絡(luò)。

“我們現(xiàn)在已經(jīng)用計(jì)算機(jī)證明了這在原則上是可行的?；诩す獾碾娐诽貏e適合在硬件中實(shí)現(xiàn)，因?yàn)樗鼈兊乃俣确浅？欤瑫r間延遲特別短，”該研究的主要作者Florian Stelzer解釋說。

那么真正關(guān)鍵的問題是，停留在時間循環(huán)中的單個神經(jīng)元是否可以產(chǎn)生與數(shù)十億神經(jīng)元相同的結(jié)果。

在初步測試中，研究人員使用新系統(tǒng)執(zhí)行計(jì)算機(jī)視覺功能。它能夠從服裝圖片中去除手動添加的噪點(diǎn)，以生成準(zhǔn)確的圖像。

隨著進(jìn)一步的發(fā)展，科學(xué)家們相信該系統(tǒng)可以擴(kuò)展，以從時間暫停的神經(jīng)元中創(chuàng)建“無限數(shù)量”的神經(jīng)元連接。柏林工業(yè)大學(xué)應(yīng)用動力系統(tǒng)研究領(lǐng)域負(fù)責(zé)人Serhiy Yanchuk解釋道，如果兩個神經(jīng)元的直接相鄰時間延遲進(jìn)一步縮短，理論上可以創(chuàng)建無限數(shù)量的神經(jīng)元，“這是時間折疊網(wǎng)絡(luò)的一項(xiàng)全新功能，它實(shí)現(xiàn)了從網(wǎng)絡(luò)中離散的單個節(jié)點(diǎn)到某種連續(xù)體的過渡?！?/p>