與會(huì)的其他科學(xué)家表示，反向傳播仍然會(huì)在未來的AI發(fā)展中發(fā)揮核心作用。但Hinton并不滿足，他想要奮力向前，找到一個(gè)全新的道路。

普朗克曾說過一句關(guān)于科學(xué)真理的真理：“科學(xué)進(jìn)步源自葬禮”。Hinton說，AI的未來取決于那些對我所說的一切都深感懷疑的研究生們。

在反向傳播中，標(biāo)簽或者權(quán)重用于在 神經(jīng)網(wǎng)絡(luò) 內(nèi)表示照片或者聲音。通過逐層調(diào)整權(quán)重，最終讓神經(jīng)網(wǎng)絡(luò)能以最少的錯(cuò)誤執(zhí)行AI任務(wù)。

怎么才能讓神經(jīng)網(wǎng)絡(luò)能夠自己變聰明，換句話說，怎么才能更好地發(fā)展“無監(jiān)督學(xué)習(xí)”？Hinton的想法是：“我懷疑這意味著擺脫反向傳播”。

“我不認(rèn)為這是大腦的工作方式”，Hinton說“我們顯然不需要所有的數(shù)據(jù)都打上標(biāo)簽”。

對于Hinton的上述言論，很多學(xué)者也紛紛響應(yīng)。

谷歌云首席科學(xué)家李飛飛表示，反向傳播的重要性，就像勞斯萊斯發(fā)動(dòng)機(jī)之于飛機(jī)，非常重要，但還不足以讓我們像鳥兒一樣自由翱翔。

“贊成Hinton的說法，沒有工具是永恒的，即便是反向傳播或深度學(xué)習(xí)”，李飛飛說最重要的事情就是：繼續(xù)進(jìn)行基礎(chǔ)研究。此前李飛飛也一直提醒業(yè)界不要抱所有注意力和資源都放在產(chǎn)品化方面，基礎(chǔ)研究跟不上的話AI發(fā)展很快會(huì)枯竭。

知名學(xué)者Gary Marcus表示，深度學(xué)習(xí)是不夠的，我們需要重頭開始，Hinton的這番話也是我多年以來一直堅(jiān)持的觀點(diǎn)。

不少人想起圖靈獎(jiǎng)得主，貝葉斯之父Judea Pearl說過的那句話：“大部分人類知識(shí)是圍繞因果關(guān)系組織的，而不是概率關(guān)系”。

capsule

對反向傳播產(chǎn)生懷疑之前的幾年，Hinton的大量精力都投入到了對capsule的研究之上。

實(shí)際上，做capsule和想要推翻反向傳播，幾乎是出于同一個(gè)原因：不像大腦。

Hinton近3年前在MIT的一次講座上說，它相信是這些不像大腦的東西，導(dǎo)致人工神經(jīng)網(wǎng)絡(luò)的效果不夠好。

capsule的提出，正是為了應(yīng)對神經(jīng)網(wǎng)絡(luò)與大腦的一個(gè)不相似之處，也是Hinton這3年來一直在講的“神經(jīng)網(wǎng)絡(luò)的一個(gè)問題”：結(jié)構(gòu)中層次太少。

Hinton提出，應(yīng)該在現(xiàn)有神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，加一個(gè)capsule的層級(jí)，每一層網(wǎng)絡(luò)的神經(jīng)元組成capsule，在內(nèi)部做計(jì)算，然后輸出一個(gè)壓縮的結(jié)果。

今年，Hinton和Google Brain同事Sara Sabour、Nicholas Frosst合作的論文Dynamic Routing Between Capsules即將發(fā)表于NIPS，F(xiàn)rosst這周還代表他們團(tuán)隊(duì)，在Google Brain全面答網(wǎng)友問的活動(dòng)上，公布了capsule研究的一些進(jìn)展：

capsule進(jìn)行得很順利！

我們組有5個(gè)人：Sara Sabour、Nicholas Frosst、Geoffrey Hinton、Eric Langois和Robert Gens，在多倫多辦公室，取得了穩(wěn)步進(jìn)展。

capsule是一組神經(jīng)元，它的活動(dòng)向量表示特定類型實(shí)體（比如對象或?qū)ο蟛糠郑┑膶?shí)例化參數(shù)。

我們的一篇論文最近中了NIPS spotlight，其中將capsule之間的動(dòng)態(tài)路由作為一種衡量低級(jí)特征之間一致性的方式。

這一架構(gòu)在MNIST上實(shí)現(xiàn)了最好的性能，而且在識(shí)別高度重疊的數(shù)字時(shí)，明顯比卷積神經(jīng)網(wǎng)絡(luò)好得多。

我們還在研究新的路由方法，在NORB數(shù)據(jù)集上取得了不錯(cuò)的結(jié)果，同時(shí)也在研究新的capsule架構(gòu)，可以在輸入空間中保持與給定組的等價(jià)性。

希望這些研究結(jié)果也能很快發(fā)表。

即將發(fā)表于NIPS的論文摘要對capsule做了個(gè)大致介紹：

capsule是一組神經(jīng)元，其活動(dòng)向量表示特定類型實(shí)體（例如對象或?qū)ο蟛糠郑┑膶?shí)例化參數(shù)。我們使用活動(dòng)向量的長度來表示實(shí)體存在的概率及其表示實(shí)例化參數(shù)的方向?；顒?dòng)capsule在一個(gè)層面上通過變換矩陣對更高層capsule的實(shí)例化參數(shù)進(jìn)行預(yù)測。當(dāng)多個(gè)預(yù)測相符時(shí)，較高層的capsule就開始活動(dòng)。

本文顯示，經(jīng)過區(qū)別訓(xùn)練的多層capsule系統(tǒng)在MNIST上實(shí)現(xiàn)了最先進(jìn)的性能，在識(shí)別高度重疊的數(shù)字時(shí)，效果明顯好于卷積神經(jīng)網(wǎng)絡(luò)。

為了達(dá)到這樣的結(jié)果，我們用了一個(gè)迭代的路由協(xié)議機(jī)制：一個(gè)低層的capsule希望將其輸出發(fā)送到一個(gè)活動(dòng)向量具有大標(biāo)量積、預(yù)測來自低層capsule的高層capsule。

2017年9月14日，億歐智庫正式發(fā)布了《2017中國智能金融產(chǎn)業(yè)研究報(bào)告》，該報(bào)告在梳理智能金融概念、宏觀環(huán)境和公司現(xiàn)狀的基礎(chǔ)上，總結(jié)了七大應(yīng)用場景，并分析了金融機(jī)構(gòu)的智能金融應(yīng)用以及互聯(lián)網(wǎng)巨頭的布局，最后總結(jié)了智能金融的未來發(fā)展趨勢與挑戰(zhàn)。了解更多報(bào)告內(nèi)容，請點(diǎn)擊： 《2017中國智能金融產(chǎn)業(yè)研究報(bào)告》 。

2017年9月10日，億歐智庫正式發(fā)布《鳥瞰人工智能應(yīng)用市場——安防行業(yè)研究分析報(bào)告2017》，該報(bào)告內(nèi)容分為四大板塊：綜述背景篇、技術(shù)探討篇、行業(yè)現(xiàn)狀判斷篇、趨勢判斷篇以及附錄企業(yè)案例。報(bào)告內(nèi)對諸多衍生疑問的量化解答，對于參與變局的企業(yè)都有意義，對于技術(shù)買單者政府也有參考價(jià)值，甚至對于第三方的投資者、媒體等都能給予有參考價(jià)值的信息。了解更多報(bào)告內(nèi)容，請點(diǎn)擊： 《鳥瞰人工智能應(yīng)用市場——安防行業(yè)研究分析報(bào)告》 。