7月27日上午，近來鮮少露面的圖靈獎(jiǎng)獲得者、多倫多大學(xué)計(jì)算機(jī)科學(xué)系名譽(yù)教授杰弗里·辛頓（Geoffrey Hinton）在第43屆國際信息檢索大會（SIGIR 2020）上作為首位主題演講者，進(jìn)行了題為“神經(jīng)網(wǎng)絡(luò)的新時(shí)代（The Next Generation of Neural Networks）”的主題報(bào)告。

他在報(bào)告中回顧了無監(jiān)督神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，結(jié)合表達(dá)學(xué)習(xí)模型的進(jìn)化歷程，指出當(dāng)前無監(jiān)督學(xué)習(xí)方法所面臨問題的根源在于：過度關(guān)注數(shù)據(jù)的重構(gòu)損失（Reconstructive Loss），忽略了對數(shù)據(jù)間關(guān)聯(lián)關(guān)系的捕捉。

基于此，他提出了下一代神經(jīng)網(wǎng)絡(luò)模型的構(gòu)想，提出利用對比損失函數(shù)（Contrastive Loss）建模樣本間的局部關(guān)系、增強(qiáng)數(shù)據(jù)間表達(dá)的一致性的解決思路。

杰弗里·辛頓演講視頻截圖

杰弗里·辛頓被稱為“神經(jīng)網(wǎng)絡(luò)之父”，出生于1947年12月6日，是加拿大認(rèn)知心理學(xué)家和計(jì)算機(jī)科學(xué)家。辛頓1970年畢業(yè)于劍橋國王學(xué)院，隨后在英國愛丁堡大學(xué)獲得人工智能博士學(xué)位。2019年3月，因?qū)θ斯ぶ悄艿姆睒s發(fā)展奠基，杰弗里·辛頓、約書亞·本吉奧（Yoshua Bengio）和楊立昆（Yann LeCun）三人被授予2018年的圖靈獎(jiǎng)。

值得一提的是，杰弗里·辛頓近來很少在公開演講中出現(xiàn)。2020年6月18日，他在個(gè)人推特上表示，因?yàn)榘l(fā)現(xiàn)之前對感知學(xué)習(xí)想法的“致命錯(cuò)誤”，推掉了一段時(shí)間內(nèi)接受的所有報(bào)告。

杰弗里·辛頓在7月27日的報(bào)告中回顧了三種不同類似的學(xué)習(xí)模式，即監(jiān)督學(xué)習(xí)（學(xué)習(xí)在給定輸入向量時(shí)預(yù)測輸出）、強(qiáng)化學(xué)習(xí)（學(xué)習(xí)找出一個(gè)能夠使收益最大化的選擇）和無監(jiān)督學(xué)習(xí)（在不提供監(jiān)督信息的條件下進(jìn)行學(xué)習(xí)）。

辛頓在報(bào)告中解釋為什么需要無監(jiān)督學(xué)習(xí)。他指出，人類大腦有10^14個(gè)神經(jīng)元連接，而生命的長度只有10^9秒，因此人類是無法完全依賴有監(jiān)督學(xué)習(xí)的方法完成所有神經(jīng)元訓(xùn)練，而需要更多來自于無監(jiān)督學(xué)習(xí)的幫助，受此啟發(fā)，構(gòu)建智能的機(jī)器模型也應(yīng)綜合考慮監(jiān)督與無監(jiān)督方法進(jìn)行協(xié)同訓(xùn)練。

報(bào)告最后，他還展示了上述構(gòu)想的一種具體實(shí)現(xiàn)方案SimCLR，應(yīng)用該方案能夠顯著提升下游圖像分類任務(wù)的效果。