2024年10月8日，國(guó)慶節(jié)放假后第一天，2024年的諾貝爾物理學(xué)獎(jiǎng)?lì)C給了兩位人工智能學(xué)者，約翰·霍普菲爾德(John Hopfield)和杰弗里·辛頓(Geoffrey Hinton)，因?yàn)樗麄兺ㄟ^人工神經(jīng)網(wǎng)絡(luò)對(duì)機(jī)器學(xué)習(xí)方面形成的奠基性貢獻(xiàn)。我相信這結(jié)果讓大多數(shù)物理學(xué)家大失所望，畢竟物理學(xué)方面的成就也不少。自1901年首次頒獎(jiǎng)開始，歷屆的物理學(xué)獎(jiǎng)也從未給過其它專業(yè)的科學(xué)家，倒是反過來的有，比如居里夫人，1911年因發(fā)現(xiàn)元素釙（Polonium，對(duì)她出生國(guó)波蘭的紀(jì)念）和鐳獲得諾貝爾化學(xué)獎(jiǎng)，成為第一個(gè)兩獲諾貝爾獎(jiǎng)的人。

圖1:  約翰·霍普菲爾德（左）和杰弗里·辛頓（右）（圖來自網(wǎng)絡(luò)）

不過，約翰·霍普菲爾德和杰弗里·辛頓獲得諾貝爾物理學(xué)獎(jiǎng)，估計(jì)讓人工智能學(xué)者也同樣大吃一驚。畢竟人工智能界的最高獎(jiǎng)通常是圖靈獎(jiǎng)，是為紀(jì)念人工智能圖靈所設(shè)。辛頓在2018年和他兩學(xué)生Yoshua Bengio, Yann LeCun（楊立昆，中譯名）因?qū)ι疃葘W(xué)習(xí)的貢獻(xiàn)獲得圖靈獎(jiǎng)，估計(jì)已經(jīng)知足了，沒想到還有大獎(jiǎng)在后面。而另一讓人工智能學(xué)者吃驚的可能是，為啥霍普菲爾德能拿諾獎(jiǎng)。從1936年圖靈提出想模擬人類智能的圖靈機(jī)開始，杰出的人工智能學(xué)者層出不窮，為啥霍普菲爾德能夠勝出呢？下面以我個(gè)人的理解，來簡(jiǎn)單聊聊兩位人工智能科學(xué)家的貢獻(xiàn)。

圖2: 2018年圖靈獎(jiǎng)獲得者

辛頓是大家熟悉的，他的成名作是與Rumelhart以及Williams于1986年在《Nature》上發(fā)表的誤差反向傳播算法。該算法讓神經(jīng)網(wǎng)絡(luò)經(jīng)歷第一波寒冬后，重新走向人工智能的舞臺(tái)。盡管該算法在數(shù)學(xué)界很早就有相關(guān)的研究，但應(yīng)用于神經(jīng)網(wǎng)絡(luò)則是從1986年開始。只是，反向傳播算法引發(fā)的熱潮，在1995年左右很快又被統(tǒng)計(jì)機(jī)器學(xué)習(xí)蓋過去，因?yàn)楹笳咴诋?dāng)時(shí)既有嚴(yán)格的理論保證，也有比當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)更為出色的性能。結(jié)果，有將近20年的時(shí)間，人工智能的主流研究者都在統(tǒng)計(jì)機(jī)器學(xué)習(xí)方面深耕。即使2006年辛頓在《Science》上首次提出深度學(xué)習(xí)的概念，學(xué)者們?nèi)匀粚⑿艑⒁?，跟進(jìn)的不多。

直到2012年，辛頓帶著他的學(xué)生Alex在李飛飛構(gòu)建的ImageNet圖像大數(shù)據(jù)上，用提出的Alex網(wǎng)絡(luò)將識(shí)別性能比前一屆一次性提高將近10個(gè)百分點(diǎn)，這才讓大部分的人工智能學(xué)者真正轉(zhuǎn)向深度學(xué)習(xí)，因?yàn)橐灾懊繉糜媒y(tǒng)計(jì)機(jī)器學(xué)習(xí)方法較上一屆提升性能的速度估計(jì)，這次的提高需要用20多年時(shí)間。

自此以后，人工智能開始相信，大數(shù)據(jù)、算力、深度模型，是走向通用人工智能的關(guān)鍵三要素?？茖W(xué)家們想到了各種各樣的方式來增廣數(shù)據(jù)，從對(duì)圖像本身的旋轉(zhuǎn)、平移、變形來生成數(shù)據(jù)、利用生成對(duì)抗網(wǎng)來生成、利用擴(kuò)散模型來生成；從人工標(biāo)注到半人工到全自動(dòng)機(jī)器標(biāo)注。而對(duì)算力的渴望也促進(jìn)了GPU顯卡性能的快速提升，因?yàn)樗菢O為方便并行計(jì)算的。但它也導(dǎo)致了對(duì)我國(guó)人工智能研究的卡脖子，因?yàn)槟壳皫缀踅^大多數(shù)學(xué)者和人工智能相關(guān)企業(yè)都認(rèn)為硬件是對(duì)大數(shù)據(jù)學(xué)習(xí)的核心保障。深度模型的發(fā)展也從最早的卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)歷了若干次的迭代，如遞歸神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)、轉(zhuǎn)換器（Transformer）、擴(kuò)散模型，到基于Transformer發(fā)展而來的預(yù)訓(xùn)練生成式轉(zhuǎn)換器(GPT)，以及各種GPT的變體。

回過頭來看，這些研究與辛頓在人工智能領(lǐng)域、尤其是人工神經(jīng)網(wǎng)絡(luò)方面的堅(jiān)持是密不可分的。

當(dāng)然，辛頓的堅(jiān)持并不意味著他只認(rèn)定一個(gè)方向。實(shí)際上，他對(duì)人工智能真諦的探索一直是有轉(zhuǎn)變的。記得某年神經(jīng)信息處理頂會(huì)（NIPS，Neural Information Processing Systems）會(huì)議曾做過一個(gè)搞笑視頻，講述辛頓對(duì)大腦如何工作的理解，從1983年的玻爾茲曼機(jī)、到86年的反向傳播、到對(duì)比散度、再到06年的深度學(xué)習(xí)，經(jīng)歷過多次的變遷。如果用機(jī)器學(xué)習(xí)的表述來理解辛頓的觀點(diǎn)，可以說依某個(gè)小于1（1表示確定，0表示否定）的概率成立。

再說說霍普菲爾德。他的主要貢獻(xiàn)是1982年提出的Hopfield網(wǎng)絡(luò)，如果從發(fā)表的時(shí)間節(jié)點(diǎn)來看，當(dāng)時(shí)沒有反向傳播算法，這個(gè)網(wǎng)絡(luò)的初期版本自然是無法通過誤差反向來調(diào)優(yōu)的。

但這個(gè)網(wǎng)絡(luò)當(dāng)時(shí)發(fā)表在PNAS期刊上，文章的標(biāo)題里有一個(gè)與物理相關(guān)的單詞“Physical Systems”。網(wǎng)絡(luò)的主要想法是，如果按物理學(xué)講的能量函數(shù)最小化來構(gòu)造網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)一定會(huì)有若干最終會(huì)隨能量波動(dòng)穩(wěn)定到最小能量函數(shù)的狀態(tài)點(diǎn)，而這些點(diǎn)能幫助網(wǎng)絡(luò)形成記憶。同時(shí)，通過學(xué)習(xí)神經(jīng)元之間的聯(lián)接權(quán)值和讓網(wǎng)絡(luò)進(jìn)行工作狀態(tài)，該網(wǎng)絡(luò)又具備一定的學(xué)習(xí)記憶和聯(lián)想回憶能力。

另一個(gè)與物理相關(guān)的是，構(gòu)造該網(wǎng)絡(luò)的設(shè)計(jì)思路模擬了電路結(jié)構(gòu)，假定網(wǎng)絡(luò)每個(gè)單元均由運(yùn)算放大器和電容電阻組成，而每一個(gè)單元就是一個(gè)神經(jīng)元。

不過，這個(gè)網(wǎng)絡(luò)從當(dāng)時(shí)看，還是存在諸多不足的。比如只能找到局部最小值。但更嚴(yán)重的問題是：

盡管從神經(jīng)生理學(xué)角度來看，這個(gè)網(wǎng)絡(luò)的記憶能對(duì)應(yīng)于原型說，每個(gè)神經(jīng)元可以看成是一個(gè)具有某個(gè)固定記憶的離散吸引子(Discrete Attractor)，但它的記憶是有限的，且不具備良好的幾何或拓?fù)浣Y(jié)構(gòu)。

圖3：Hopfield網(wǎng)絡(luò)結(jié)構(gòu)圖，1982。圓形節(jié)點(diǎn)代表可形成記憶的神經(jīng)元，相互聯(lián)接的線反映了神經(jīng)元之間聯(lián)系的權(quán)重。

圖4: Kohonen網(wǎng)絡(luò)，1989

所以，便有了很多在此基礎(chǔ)上的新方法的提出。比如1989年的Kohonen網(wǎng)絡(luò)在設(shè)計(jì)時(shí)就假設(shè)有一張網(wǎng)來與數(shù)據(jù)云進(jìn)行匹配，通過算法的迭代最終可以將網(wǎng)絡(luò)完好地?cái)M合到數(shù)據(jù)上，而網(wǎng)上的每個(gè)節(jié)點(diǎn)便可以認(rèn)為是一個(gè)記憶元，或離散吸引子。這樣的網(wǎng)絡(luò)有更好的拓?fù)浠驇缀伪碚鳌?/span>

另外，關(guān)于人的記憶是不是應(yīng)該是離散吸引子，至今也沒有終結(jié)的答案，比如2000年左右就有一系列的流形學(xué)習(xí)文章發(fā)表（Manifold learning）。這些文章在神經(jīng)生理學(xué)方面的一個(gè)重要假設(shè)是，人的記憶可能是以連續(xù)吸引子形式存在的。比如一個(gè)人不同角度的臉，在大腦記憶時(shí)，吸引子可能是一條曲線的形式，或者曲面、或者更高維度的超曲面。人在還原不同角度的人臉時(shí)，可以在曲面上自由滑動(dòng)來生成，從而實(shí)現(xiàn)更有效的記憶。在此理念下，僅考慮離散吸引子的Hopfield網(wǎng)絡(luò)及其變體，自然就少了很多跟進(jìn)的研究者。

當(dāng)然，流形學(xué)習(xí)的研究實(shí)際上后期也停頓了，因?yàn)檫@方面的變現(xiàn)能力不強(qiáng)。

隨著深度學(xué)習(xí)的興起，大家發(fā)現(xiàn)通過提高數(shù)據(jù)量、加強(qiáng)算力建設(shè)、擴(kuò)大深度模型的規(guī)模，足以保證深度學(xué)習(xí)能實(shí)現(xiàn)好的預(yù)測(cè)性能，而預(yù)測(cè)性能才是保證人工智能落地的關(guān)鍵要素。至于是否一定要與大腦建立某種關(guān)聯(lián)性，是否一定要有好的可解釋性，在當(dāng)前階段并不是人工智能考慮的重心。

也許，等現(xiàn)有的大模型出現(xiàn)類似計(jì)算機(jī)一樣的摩爾定律時(shí)，人工智能會(huì)回歸到尋找和建立與大腦更為一致、更加節(jié)能、更加智能的理論和模型上。

再回到人工智能與諾獎(jiǎng)的關(guān)系。從今年諾貝爾物理學(xué)獎(jiǎng)的得獎(jiǎng)情況，和人工智能近年來對(duì)幾乎全學(xué)科、所有領(lǐng)域的融入程度來看，也許，未來學(xué)好人工智能，很有可能會(huì)比拒絕人工智能的人，能更有效的工作、生活、形成新的重要發(fā)現(xiàn)，甚至爭(zhēng)奪各個(gè)方向的諾貝爾獎(jiǎng)。

                  張軍平寫于2024年10月8日晚