3月6日消息，據(jù)《大西洋月刊》報(bào)道，直到最近，那些能在各類(lèi)游戲中擊敗人類(lèi)冠軍的機(jī)器，至少還能從人類(lèi)的經(jīng)驗(yàn)中吸取教訓(xùn)。

1997年，為了在國(guó)際象棋中擊敗象棋大師加里·卡斯帕羅夫(Garry Kasparov)，IBM的工程師們?cè)谒麄兊摹吧钏{(lán)”(Deep Blue)電腦中使用了幾個(gè)世紀(jì)的國(guó)際象棋智慧。2016年，通過(guò)研究成千上萬(wàn)的人類(lèi)對(duì)戰(zhàn)經(jīng)驗(yàn)，谷歌旗下人工智能(AI)子公司DeepMind的AlphaGo擊敗了韓國(guó)圍棋冠軍李世石(Lee Sedol)。

圖：在波多黎各圣洛倫佐(San Lorenzo)的一家養(yǎng)老院走廊里，一名看護(hù)人員正用筆記本電腦來(lái)監(jiān)控機(jī)器人護(hù)理人員，后者正為20位老年人提供服務(wù)

但是現(xiàn)在，AI研究人員正在重新思考機(jī)器人融合人類(lèi)知識(shí)的方式。當(dāng)前的趨勢(shì)是：不需要那么麻煩。

2017年10月份，DeepMind團(tuán)隊(duì)公布了新的圍棋系統(tǒng)——AlphaGo Zero的細(xì)節(jié)，該系統(tǒng)根本沒(méi)有研究人類(lèi)的下棋經(jīng)驗(yàn)。相反，它直接從研究游戲規(guī)則開(kāi)始，并與自己對(duì)抗。它的第一個(gè)動(dòng)作完全是隨機(jī)的，而在每場(chǎng)比賽之后，它都對(duì)幫助其取勝或?qū)е缕涫〉男轮R(shí)進(jìn)行了總結(jié)。在這些混戰(zhàn)結(jié)束后，AlphaGo Zero與曾經(jīng)擊敗李世石的AlphaGo超人版本進(jìn)行了正面交鋒，并以100：0的戰(zhàn)績(jī)完敗對(duì)手。

這個(gè)團(tuán)隊(duì)繼續(xù)開(kāi)發(fā)了AlphaGo家族的另一個(gè)游戲大師，并為其取名AlphaZero。去年12月份，DeepMind的研究人員在科學(xué)網(wǎng)站ArXiv.org上發(fā)表論文指出，經(jīng)過(guò)從頭開(kāi)始的重新設(shè)計(jì)，AlphaZero的表現(xiàn)優(yōu)于AlphaGo Zero。換句話說(shuō)，它擊敗了曾擊敗過(guò)世界上最好圍棋棋手的機(jī)器人。

當(dāng)它獲得國(guó)際象棋規(guī)則或日本將棋的規(guī)則時(shí)，AlphaZero也很快學(xué)會(huì)了擊敗這些游戲頂級(jí)算法的方式。專(zhuān)家們對(duì)該項(xiàng)目咄咄逼人、令人感到陌生的風(fēng)格感到驚嘆。丹麥大師彼得·海恩·尼爾森(Peter Heine Nielsen)在接受BBC采訪時(shí)表示：“我一直在想，如果有更高級(jí)的物種降落在地球上，他們是如何下國(guó)際象棋的。現(xiàn)在我知道了。”

在過(guò)去的一年里，在各種各樣的場(chǎng)景中出現(xiàn)了超凡脫世的自學(xué)機(jī)器人，如無(wú)極限撲克和《Dota 2》。

當(dāng)然，投資于這些和類(lèi)似系統(tǒng)的公司比僅僅控制視頻游戲比賽更有野心。像DeepMind這樣的研究團(tuán)隊(duì)希望將類(lèi)似的方法應(yīng)用到現(xiàn)實(shí)世界中幫助解決實(shí)際問(wèn)題，比如建造室溫超導(dǎo)體，或者理解將蛋白質(zhì)折疊成有效藥物分子的方式。當(dāng)然，許多實(shí)踐者希望最終建立起通用人工智能，這是個(gè)定義尚不清楚但卻令人著迷的目標(biāo)：機(jī)器可以像人類(lèi)那樣思考，并可以幫助解決許多不同類(lèi)型的問(wèn)題。

然而，盡管在這些系統(tǒng)中進(jìn)行了大量投資，但目前的技術(shù)能走多遠(yuǎn)還不清楚。華盛頓大學(xué)計(jì)算機(jī)科學(xué)家佩德羅·多明戈斯(Pedro Domingos)說(shuō):“我不確定AlphaZero的想法是否能輕易地推廣開(kāi)來(lái)，畢竟游戲是極為特殊的東西?！?/p>

許多游戲、國(guó)際象棋和圍棋都有一個(gè)特點(diǎn)，就是玩家可以隨時(shí)看到兩邊的棋子。每個(gè)玩家都有關(guān)于游戲狀態(tài)的“完美信息”。無(wú)論游戲有多么復(fù)雜，你所需要做的就是從當(dāng)前的情況出發(fā)去思考。然而，很多真實(shí)情況并非如此。想象一下，讓電腦診斷疾病或進(jìn)行商務(wù)談判?？▋?nèi)基梅隆大學(xué)計(jì)算機(jī)科學(xué)專(zhuān)業(yè)博士生諾姆·布朗(Noam Brown)表示:“大多數(shù)現(xiàn)實(shí)世界的戰(zhàn)略互動(dòng)都涉及隱性信息，我覺(jué)得這被大多數(shù)AI社區(qū)忽視了。”

布朗擅長(zhǎng)的撲克為AI提供了不同的挑戰(zhàn)，因?yàn)槟憧床坏綄?duì)手的牌。但在這個(gè)領(lǐng)域，通過(guò)與自己競(jìng)爭(zhēng)來(lái)學(xué)習(xí)的機(jī)器現(xiàn)在也達(dá)到了超人的水平。2017年1月份，布朗及其導(dǎo)師托馬斯·桑德霍爾姆(Tuomas Sandholm)創(chuàng)建了名為“Libratus”的項(xiàng)目，在20天的比賽結(jié)束后，他們?cè)诟?jìng)爭(zhēng)對(duì)手的領(lǐng)先優(yōu)勢(shì)下，以超過(guò)170萬(wàn)美元的優(yōu)勢(shì)擊敗了4名職業(yè)撲克選手。

另一款更讓人望而生畏的游戲是《星際爭(zhēng)霸2》(StarCraft II)，這是一款擁有大量粉絲的多人在線視頻游戲。玩家選擇一個(gè)團(tuán)隊(duì)組建軍隊(duì)，并在科幻場(chǎng)景中發(fā)動(dòng)戰(zhàn)爭(zhēng)。但戰(zhàn)爭(zhēng)場(chǎng)景籠罩在迷霧中，只有玩家才能看到他們有士兵或建筑的地方。即使是對(duì)你的對(duì)手進(jìn)行偵察，這個(gè)過(guò)程也充滿了不確定性。

這是一款A(yù)I仍然不能徹底掌控的游戲。影響其成功的障礙包括在一場(chǎng)游戲中動(dòng)作的絕對(duì)數(shù)量，通?？赡軙?huì)達(dá)到成千上萬(wàn)個(gè)。每個(gè)玩家(無(wú)論人類(lèi)還是機(jī)器)都需要擔(dān)心每次點(diǎn)擊可能帶來(lái)的無(wú)數(shù)后果。就目前而言，AI還無(wú)法在這一領(lǐng)域與頂級(jí)人類(lèi)玩家進(jìn)行針?shù)h相對(duì)的抗衡。但這是一個(gè)目標(biāo)。在2017年8月份，DeepMind與開(kāi)發(fā)《星際爭(zhēng)霸2》的暴雪娛樂(lè)公司合作，發(fā)布了他們所謂幫助AI研究人員征服游戲的工具。

盡管面臨挑戰(zhàn)，《星際爭(zhēng)霸2》的目標(biāo)仍然十分明確，那就是消滅敵人。這是它與國(guó)際象棋、圍棋、撲克、《dota 2》以及其他所有游戲的共同之處。在游戲中，你可以贏得勝利。從算法的角度來(lái)看，所有問(wèn)題都需要有個(gè)“目標(biāo)函數(shù)”，即需要尋找的目標(biāo)。當(dāng)AlphaZero下棋時(shí)，這并不太難。AlphaZero的目標(biāo)函數(shù)是將分?jǐn)?shù)最大化，而撲克機(jī)器人的目標(biāo)函數(shù)也很簡(jiǎn)單，就是贏更多錢(qián)。

然而現(xiàn)實(shí)生活中的情況并不那么簡(jiǎn)單。舉例來(lái)說(shuō)，無(wú)人駕駛汽車(chē)需要一個(gè)更微妙的目標(biāo)函數(shù)，類(lèi)似于你對(duì)精靈解釋自己愿望時(shí)的那種謹(jǐn)慎措辭。比如：及時(shí)將乘客送到正確的目的地，遵守一切法律，在危險(xiǎn)和不確定的情況下適當(dāng)?shù)睾饬咳祟?lèi)的生命價(jià)值。多明戈斯說(shuō)，研究人員如何制定目標(biāo)函數(shù)，這是“將一個(gè)偉大的機(jī)器學(xué)習(xí)研究者與一般的機(jī)器學(xué)習(xí)研究者區(qū)分開(kāi)來(lái)的東西之一?！?/p>

想想微軟在2016年3月23日發(fā)布的Twitter聊天機(jī)器人Tay吧!Tay的目標(biāo)是讓人們參與進(jìn)來(lái)，它做到了。多明戈斯稱(chēng)：“不幸的是，Tay發(fā)現(xiàn)：吸引人們最大化參與的最好方法就是宣泄種族主義言論?！痹谏暇€不到一天的時(shí)間內(nèi)，它就被緊急召回。

有些事情并沒(méi)有改變，今天主要的游戲機(jī)器人采用的方法依然采用了幾十年前設(shè)計(jì)的策略。多倫多大學(xué)計(jì)算機(jī)科學(xué)家戴維·杜文多(David Duvenaud)說(shuō):“這幾乎是過(guò)去技術(shù)的爆發(fā)，只是增加了更多的計(jì)算?！?/p>

這些策略通常依賴于強(qiáng)化學(xué)習(xí)，一種不干涉的AI技術(shù)。工程師讓機(jī)器探索一個(gè)環(huán)境，并通過(guò)不斷的嘗試和錯(cuò)誤來(lái)學(xué)習(xí)如何實(shí)現(xiàn)目標(biāo)，而不是用詳細(xì)的指令對(duì)算法進(jìn)行微觀管理。在AlphaGo和它的子代發(fā)布之前，DeepMind團(tuán)隊(duì)曾在2013年取得了第一個(gè)巨大的、引人注目的成就，當(dāng)時(shí)他們使用強(qiáng)化學(xué)習(xí)技術(shù)讓一個(gè)機(jī)器人學(xué)會(huì)掌控7款A(yù)tari 2600游戲，其中3款達(dá)到專(zhuān)家級(jí)別。

這一進(jìn)程仍在繼續(xù)。2月5日，DeepMind發(fā)布了Impala，可以學(xué)習(xí)57款A(yù)tari游戲的AI系統(tǒng)，另外還有30個(gè)由DeepMind在三維空間中構(gòu)建的任務(wù)。在這些游戲中，玩家可以在不同的環(huán)境中漫游，執(zhí)行像打開(kāi)門(mén)或收獲蘑菇這樣的任務(wù)。Impala似乎可以在任務(wù)之間傳遞知識(shí)，這意味著花在玩一款游戲上的時(shí)間也能幫助它在其他方面有所提高。

但在更大范圍內(nèi)的強(qiáng)化學(xué)習(xí)，棋盤(pán)游戲和多人游戲允許玩家采用更具體的方法。在這里，探索可以采取自我啟發(fā)的形式，在這種情況下，一種算法可以通過(guò)不斷地與自己的副本角力，從而獲得戰(zhàn)略優(yōu)勢(shì)。

這個(gè)想法可以追溯到幾十年前。在20世紀(jì)50年代，一位名叫亞瑟·塞繆爾(Arthur Samuel)的IBM工程師創(chuàng)建了一個(gè)棋盤(pán)游戲程序，該程序是通過(guò)將字母與測(cè)試方相匹配來(lái)學(xué)習(xí)的。在20世紀(jì)90年代，來(lái)自IBM的杰拉爾德·特索羅(Gerald Tesauro)開(kāi)發(fā)出西洋雙陸棋程序，使算法與自身對(duì)戰(zhàn)。這個(gè)程序最終達(dá)到了人類(lèi)專(zhuān)家的水平，設(shè)計(jì)出了非正統(tǒng)但十分有效的策略。

在游戲迭代中，使用“自我啟發(fā)”系統(tǒng)的算法面對(duì)同樣相匹配的對(duì)手。這意味著策略的改變會(huì)導(dǎo)致不同的結(jié)果，從而使算法得到即時(shí)的反饋。OpenAI的研究主管伊爾亞·蘇茨克維爾(Ilya Sutskever)說(shuō)：“任何時(shí)候你學(xué)到新東西，只要你發(fā)現(xiàn)了一件小事情，你的對(duì)手就會(huì)立即用它來(lái)對(duì)付你。”

蘇茨克維爾和美國(guó)連續(xù)創(chuàng)業(yè)家伊隆·馬斯克(Elon Musk)共同創(chuàng)立了非營(yíng)利組織OpenAI，致力于開(kāi)發(fā)和分享AI技術(shù)，并將其引導(dǎo)到安全的應(yīng)用領(lǐng)域。2017年8月，該組織發(fā)布了《Dota 2》機(jī)器人，控制角色Shadow Fiend(惡魔巫師)，并在一對(duì)一的戰(zhàn)斗中擊敗了世界上最好的玩家。另一個(gè)OpenAI項(xiàng)目是在相撲比賽中模擬人類(lèi)互相攻擊，最后它們教自己如何格擋和發(fā)動(dòng)佯攻。蘇茨克維爾稱(chēng)，在“自我啟發(fā)”的過(guò)程中，你永遠(yuǎn)不能休息，必須不斷進(jìn)步。

但是，“自我啟發(fā)”的舊觀念只是當(dāng)今主流機(jī)器人的一個(gè)組成部分，它還需要一種方式將他們的游戲體驗(yàn)轉(zhuǎn)化為更深層次的理解。國(guó)際象棋、圍棋以及像《Dota 2》這樣的視頻游戲，可能性甚至比宇宙中的原子排列方式更多。即使是在整個(gè)生命過(guò)程中，機(jī)器與自己的影子進(jìn)行無(wú)數(shù)場(chǎng)虛擬競(jìng)技戰(zhàn)斗，它也不可能碰到每個(gè)場(chǎng)景，并把它記錄下來(lái)，以便當(dāng)它再次看到同樣的情況時(shí)，有記錄可查。

加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)家皮特·阿貝爾(Pieter Abbeel)說(shuō)，要想在這種擁有無(wú)數(shù)可能性的海洋中生存，你需要泛化，并捕捉本質(zhì)。IBM的深藍(lán)電腦用其內(nèi)置的國(guó)際象棋公式做到了這一點(diǎn)。在有能力評(píng)估以前從未見(jiàn)過(guò)的棋路后，它可以采取行動(dòng)和策略來(lái)增加獲勝的機(jī)會(huì)。然而，近年來(lái)，一項(xiàng)新技術(shù)使我們可以完全跳過(guò)這個(gè)公式。阿貝爾稱(chēng)：“現(xiàn)在，突然之間，‘深網(wǎng)’就抓住了這一切?！?/p>

在過(guò)去的幾年里，深度神經(jīng)網(wǎng)絡(luò)的人氣飆升，它是由一層層的人造“神經(jīng)元”構(gòu)成的，就像煎餅一樣。當(dāng)一層神經(jīng)元放電時(shí)，它們會(huì)將信號(hào)發(fā)送到下一層，以此類(lèi)推。通過(guò)調(diào)整層與層之間的連接方式，這些網(wǎng)絡(luò)在將輸入轉(zhuǎn)化為相關(guān)輸出時(shí)變得非常棒，即使連接看起來(lái)顯得十分抽象。

舉例來(lái)說(shuō)，給它們一個(gè)英語(yǔ)短語(yǔ)，它們可以訓(xùn)練自己把它翻譯成土耳其語(yǔ)。給它們一個(gè)動(dòng)物收容所的照片，它們就能辨認(rèn)出哪些是貓。或者向它們展示一個(gè)游戲板，它們可以知道自己獲勝的概率有多大。但是，通常情況下，你需要首先給這些網(wǎng)絡(luò)大量的標(biāo)記示例來(lái)進(jìn)行訓(xùn)練和實(shí)踐。

這就是為什么“自我啟發(fā)”系統(tǒng)和深層神經(jīng)網(wǎng)絡(luò)如此契合的原因?！白晕覇l(fā)”能產(chǎn)生大量的游戲，使深層神經(jīng)網(wǎng)絡(luò)在理論上可以無(wú)限地提供它們需要自學(xué)的數(shù)據(jù)。反過(guò)來(lái)，深層神經(jīng)網(wǎng)絡(luò)提供了一種方法來(lái)內(nèi)化“自我啟發(fā)”過(guò)程中遇到的經(jīng)驗(yàn)和模式。但是這其中有一個(gè)問(wèn)題。對(duì)于“自我啟發(fā)”系統(tǒng)來(lái)說(shuō)，要想產(chǎn)生有用的數(shù)據(jù)，它們需要一個(gè)更現(xiàn)實(shí)的地方來(lái)玩。

加州大學(xué)伯克利分校的博士生切爾西·芬恩(Chelsea Finn)說(shuō)：“所有這些游戲，所有這些結(jié)果，都是在你可以完美模擬世界的環(huán)境中進(jìn)行的?！狈叶髟褂肁I控制機(jī)器人手臂，并從傳感器中解讀數(shù)據(jù)。其他領(lǐng)域并不那么容易被模仿。

例如，無(wú)人駕駛汽車(chē)在應(yīng)對(duì)惡劣天氣或騎單車(chē)者時(shí)遇到了困難?；蛘?，它們可能無(wú)法捕捉到真實(shí)數(shù)據(jù)中出現(xiàn)的奇異可能性，比如恰好有鳥(niǎo)飛過(guò)擋住了汽車(chē)攝像頭。芬恩說(shuō)，對(duì)于機(jī)器人手臂來(lái)說(shuō)，最初的模擬提供了基礎(chǔ)物理學(xué)，讓手臂至少學(xué)會(huì)了如何學(xué)習(xí)。但是，他們沒(méi)有捕捉到接觸表面的細(xì)節(jié)，這意味著像擰開(kāi)瓶蓋或進(jìn)行復(fù)雜外科手術(shù)的任務(wù)也需要現(xiàn)實(shí)世界的經(jīng)驗(yàn)。

對(duì)于那些難以模擬的問(wèn)題，“自我啟發(fā)”系統(tǒng)并不是很有用。蒙特利爾大學(xué)深度學(xué)習(xí)先驅(qū)約書(shū)亞·本吉奧(Yoshua Bengio)在電子郵件中寫(xiě)道:“在真正完美的環(huán)境模型和學(xué)習(xí)環(huán)境之間存在著巨大的差異，尤其是當(dāng)這個(gè)現(xiàn)實(shí)足夠復(fù)雜的時(shí)候。”但這仍然讓AI研究人員有辦法繼續(xù)前進(jìn)。

很難確定AI何時(shí)能取得游戲霸主地位。你可以選擇卡斯帕羅夫在國(guó)際象棋中的失利，或者李世石敗給虛擬對(duì)手AlphaGo。另一個(gè)流行的選擇是，2011年美國(guó)智力游戲《危險(xiǎn)邊緣》(Jeopardy)冠軍肯·詹寧斯(Ken Jennings)輸給了IBM電腦沃森(Watson)。沃森可以解析游戲的線索，處理文字游戲。兩天的比賽還沒(méi)有結(jié)束，詹寧斯就寫(xiě)道：“首先，我歡迎我們的新電腦霸主?！?/p>

沃森似乎被賦予了人類(lèi)在許多現(xiàn)實(shí)問(wèn)題上所使用的文書(shū)技能。它可以用英語(yǔ)提示，以閃電般的速度翻查相關(guān)文件，找到相關(guān)的信息片段，并找到一個(gè)最好的答案。但七年后，現(xiàn)實(shí)世界繼續(xù)對(duì)AI提出了嚴(yán)峻的挑戰(zhàn)。2017年9月份健康雜志《Stat》發(fā)布的報(bào)告顯示，作為沃森腫瘤研究計(jì)劃(Watson for Oncology)的目標(biāo)，研究和設(shè)計(jì)個(gè)性化的癌癥治療方案非常困難。

當(dāng)被要求從AI的角度來(lái)比較上述兩種情況時(shí)，本吉奧寫(xiě)道：“《危險(xiǎn)邊緣》中的問(wèn)題更容易理解，因?yàn)樗鼈儾恍枰嗟某ＷR(shí)。而理解一篇醫(yī)學(xué)文章要難得多。同樣，需要進(jìn)行很多基礎(chǔ)研究?！?/p>

盡管游戲很特別，但仍然存在一些類(lèi)似的現(xiàn)實(shí)問(wèn)題。DeepMind的研究人員拒絕接受采訪，理由是他們的AlphaZero目前正在接受同行評(píng)審。但該研究團(tuán)隊(duì)已經(jīng)表示，它的技術(shù)可能很快就能幫助生物醫(yī)學(xué)研究者，后者想要更多了解蛋白質(zhì)的折疊。

為了做到這一點(diǎn)，他們需要弄清楚組成蛋白質(zhì)扭結(jié)的各種氨基酸是如何折疊成小三維機(jī)器的，其功能取決于它的形狀。這在國(guó)際象棋中同樣十分棘手，化學(xué)家們很清楚地知道規(guī)則，可以計(jì)算出特定的場(chǎng)景，但是仍然有很多可能的配置方案，想要了解所有可能性幾乎是不可能的。

但是如果蛋白質(zhì)折疊可以被配置成游戲呢?事實(shí)上，它已經(jīng)存在了。自2008年以來(lái)，成千上萬(wàn)的人類(lèi)玩家嘗試過(guò)在線游戲《Foldit》，用戶可以在其折疊的蛋白質(zhì)結(jié)構(gòu)的穩(wěn)定性和可行性上得分。機(jī)器可以以類(lèi)似的方式訓(xùn)練自己，也許通過(guò)嘗試通用強(qiáng)化學(xué)習(xí)來(lái)?yè)魯∷暗淖詈贸煽?jī)。

蘇茨克維爾認(rèn)為，強(qiáng)化學(xué)習(xí)和“自我啟發(fā)”也有助于訓(xùn)練對(duì)話系統(tǒng)。這將使機(jī)器人能夠通過(guò)自言自語(yǔ)的方式進(jìn)行訓(xùn)練，并實(shí)現(xiàn)與人類(lèi)對(duì)話?？紤]到專(zhuān)業(yè)的AI硬件正變得越來(lái)越快、越來(lái)越普及，工程師們將會(huì)有動(dòng)力以游戲的形式提出越來(lái)越多的問(wèn)題。蘇茨克維爾說(shuō):“我認(rèn)為，將來(lái)自我啟發(fā)和其他消耗大量計(jì)算能力的方式將變得越來(lái)越重要?！?/p>

但是，如果最終的目標(biāo)是讓機(jī)器盡可能多地完成任務(wù)，即使是自學(xué)成才、通才的棋盤(pán)游戲冠軍，比如AlphaZero，也可能有辦法實(shí)現(xiàn)。麻省理工學(xué)院認(rèn)知科學(xué)家喬?！ぬ啬硝U姆(Josh Tenenbaum)說(shuō):“至少在我看來(lái)，你必須看到，真正的思維活動(dòng)、創(chuàng)造性的思想探索以及我們目前在AI領(lǐng)域所看到的東西之間存在著巨大的鴻溝。這種智能是存在的，但它主要發(fā)生在偉大的AI研究人員的頭腦中?！?

谷歌深度學(xué)習(xí)研究員弗朗索瓦·喬萊(Francois Chollet)說(shuō)：“我要保持小心，不要過(guò)高估計(jì)玩這些游戲的重要性，不管是AI還是普通工作。人類(lèi)不是很擅長(zhǎng)游戲，但要記住，非常簡(jiǎn)單的專(zhuān)業(yè)工具實(shí)際上可以實(shí)現(xiàn)很多目標(biāo)。”【責(zé)任編輯/衛(wèi)安】

(原標(biāo)題：For AI, the Real World Is Harder Than Gaming)