在過去的三十年，深度學(xué)習(xí)運動一度被認(rèn)為是學(xué)術(shù)界的一個異類，但是現(xiàn)在， Geoff Hinton（如圖1）和他的深度學(xué)習(xí)同事，包括紐約大學(xué)Yann LeCun和蒙特利爾大學(xué)的Yoshua Bengio，在互聯(lián)網(wǎng)世界受到前所未有的關(guān)注。Hinton是加拿大多倫多大學(xué)教授和研究員，目前就職于Google，他利用深度學(xué)習(xí)技術(shù)來提高語音識別、圖像標(biāo)簽以及其他無數(shù)在線工具的用戶體驗，LeCun在Facebook做類似的工作。當(dāng)下人工智能在微軟、IBM以及百度和許多其它公司受到極大的關(guān)注。

我非常興奮，我們發(fā)現(xiàn)一種可以使神經(jīng)網(wǎng)絡(luò)變得更好的方法，尤其是這種方法能夠揭示大腦是如何工作的時候——Geoff Hinton

Geoff Hinton 等人親手締造了深度學(xué)習(xí)的復(fù)興

Hinton本科階段在劍橋?qū)W習(xí)心理學(xué)，他意識到科學(xué)家們并沒有真正理解大腦——不能完全掌握數(shù)十億神經(jīng)元之間的交互以及如何提升智力。這些科學(xué)家可以解釋電信號沿著一個軸突連接一個神經(jīng)元到另一個，但他們無法解釋這些神經(jīng)元是如何學(xué)習(xí)或計算的。Hinton認(rèn)為這些都是大問題，答案可能最終讓我們實現(xiàn)1950年代人工智能研究人員的夢想。

圖1： Geoff Hinton（AI領(lǐng)袖級人物，目前就職于Google）

他也沒有答案，但他將盡全力尋找答案，至少改進(jìn)的人工神經(jīng)網(wǎng)絡(luò)可以模擬人腦的某些方面。“我非常興奮，我們發(fā)現(xiàn)一種可以使神經(jīng)網(wǎng)絡(luò)變得更好的方法，尤其是這種方法能夠揭示大腦是如何工作的時候，”Hinton說，洋溢著青春的熱情。

這些人工神經(jīng)網(wǎng)絡(luò)可以收集信息，并且能夠做出反應(yīng)，它們可以理解東西看起來什么樣或聽起來像什么。當(dāng)你將單詞組合起來，它們在做決定的時候會變得更聰明，而在完成這些過程中不需要人類提供物體或?qū)ο蟮臉?biāo)簽，這是傳統(tǒng)的的機器學(xué)習(xí)工具做不到的。

隨著人工智能的發(fā)展，這些神經(jīng)網(wǎng)絡(luò)將更加快速、靈活、高效，它們隨著機器規(guī)模的增加而變得更加聰明，隨著時間的推移將能夠解決越來越多的復(fù)雜任務(wù)。

早在80年代初，當(dāng)Hinton和同事開始這個想法時，那時的電腦性能還遠(yuǎn)遠(yuǎn)不能處理神經(jīng)網(wǎng)絡(luò)需要的巨大數(shù)據(jù)集，成功是有限的，隨后人工智能社區(qū)背棄了他們，轉(zhuǎn)而去尋找類人腦的捷徑，而不是嘗試模仿大腦的運作。

但仍然有一些研究人員堅定地支持Hinton的工作。根據(jù)Hinton和LeCun回憶，這極為艱難，甚至直到2004年——已經(jīng)是Hinton和LeCun第一次開發(fā)“反向傳播”算法神經(jīng)網(wǎng)絡(luò)20年之后了——學(xué)術(shù)界對這些毫無興趣。

但是那一年，從加拿大先進(jìn)項目研究所（CIFAR）拿到的極少量資金，并在LeCun以及 Bengio 的支持下，Hinton建立了神經(jīng)計算和自適應(yīng)感知項目，這個項目只邀請一些計算機科學(xué)家、生物學(xué)家、電氣工程師、神經(jīng)科學(xué)家、物理學(xué)家和心理學(xué)家。

通過招聘這些研究人員，Hinton旨在創(chuàng)建一個世界級的團(tuán)隊，致力于創(chuàng)建模擬生物智能的模擬——模擬大腦如何篩選大量的視覺、聽覺以及書面線索來理解和應(yīng)對它的環(huán)境。Hinton認(rèn)為建立這樣一個組織會刺激人工智能領(lǐng)域的創(chuàng)新，甚至改變世界，事實證明，他是對的。

Geoffrey Hinton 曾感慨自己的學(xué)術(shù)生涯就像 ANN （人工神經(jīng)網(wǎng)絡(luò)）一樣起起伏伏，所幸的是，這位 Gatsby 的創(chuàng)立者一直沒有放棄 ANN 的研究。他們?yōu)閷崿F(xiàn)早期的想法，定期聚集在一起召開研討會，構(gòu)建了更強大的深度學(xué)習(xí)算法，操作更大的數(shù)據(jù)集。期間贏得全球人工智能比賽，再然后互聯(lián)網(wǎng)的巨頭開始注意到他們。

2011年，一位NCAP研究員和斯坦福的Andrew Ng在Google建立了深度學(xué)習(xí)項目，今天，公司用神經(jīng)網(wǎng)絡(luò)在Android手機和社交網(wǎng)絡(luò)以及Google +上標(biāo)記圖像。去年，Hinton加入Google公司，其目的是進(jìn)一步把這項工作做的更為深入。

每年不到一百萬美元的CIFAR投資，Hinton和他的伙伴們帶來的回報是豐厚的，這不僅發(fā)生在Google也發(fā)生在一些國家，包括加拿大。

在這個過程中，Hinton和NCAP已經(jīng)改變了這個曾經(jīng)拋棄他們社區(qū)的面貌， 當(dāng)下大學(xué)生們從傳統(tǒng)機器學(xué)習(xí)項目轉(zhuǎn)到深度學(xué)習(xí)這種現(xiàn)象無處不在了 。毫無疑問，現(xiàn)在深度學(xué)習(xí)是主流?！拔覀儾辉偈菢O端分子了”Hinton說，“我們現(xiàn)在可是炙手可熱的核心技術(shù)呢。 ”

Hinton也周游世界并為深度學(xué)習(xí)積極布道，Hinton有一個習(xí)慣就是喜歡突然大喊：“我現(xiàn)在理解大腦是如何工作的了！”這很有感染力，他每周都會這樣做，你很難模仿。

通過NCAP 和CIFAR，Hinton開辦了一家暑期學(xué)校，致力于培養(yǎng)新一代的人工智能研究人員。有這么多的商業(yè)公司進(jìn)入這一領(lǐng)域，這是比以往任何時候都更加重要。不僅僅是科技巨頭加入這個領(lǐng)域，我們也看到大量的深度學(xué)習(xí)初創(chuàng)公司包括Ersatz,、Expect Labs以及 Declara。

“我們希望把AI和CIFAR帶到一個美妙的新領(lǐng)域，”Hinton說，“一個還沒有人或者程序到達(dá)的境界?！?br>

和Geoff Hinton一起共同締造深度學(xué)習(xí)復(fù)興的大神還包括Yoshua Bengio（如圖2）和 Yann LeCun（圖3）教授，他們是Hinton堅定的支持者。

Yoshua Bengio（如圖2）教授也是機器學(xué)習(xí)大神之一，他的研究工作主要聚焦在高級機器學(xué)習(xí)方面，致力于用其解決人工智能問題。他是少有的幾個仍然全身心投入在深度學(xué)習(xí)學(xué)術(shù)界的教授之一，好多其他教授早已投身于工業(yè)界，加入了Google或Facebook公司。

圖2：Montreal大學(xué)教授及AI研究者 Yoshua Bengio

Yann LeCun和Yoshua Bengio不同，他目前就職于Facebook，任Facebook人工智能研究院主任，也是人工智能尤其是深度學(xué)習(xí)領(lǐng)域最知名的學(xué)者之一，在多倫多大學(xué)隨Hinton讀博士后即加盟貝爾實驗室，期間研發(fā)了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）與曾廣泛用于手寫識別和OCR的圖變換網(wǎng)絡(luò)方法。2003年加入紐約大學(xué)，從事廣度與深度兼具的各類研究，涉及機器學(xué)習(xí)、計算機視覺、移動機器人和計算神經(jīng)學(xué)。

圖3：紐約大學(xué)AI研究者及Facebook人工智能研究院的主任 Yann LeCun

毋庸置疑的是，深度學(xué)習(xí)以及整個人工智能領(lǐng)域已成為互聯(lián)網(wǎng)巨頭競爭的一個焦點。

深度學(xué)習(xí)領(lǐng)域人才極度稀缺

Montreal大學(xué)全職教授Yoshua Bengio表示：“深度學(xué)習(xí)現(xiàn)在炙手可熱，目前的困境是缺乏專家，一個博士生大概需要五年的時間培養(yǎng)，但是五年前還沒有博士生開始從事深度學(xué)習(xí)，這意味著現(xiàn)在該領(lǐng)域的專家特別少，可以說彌足珍貴、極度稀缺?！?/b>