昨天上午，由中國自動(dòng)化學(xué)會(huì)聯(lián)合新智元舉辦的世界人工智能大會(huì)在北京舉行。會(huì)上，微軟人工智能首席科學(xué)家鄧力發(fā)表了演講，現(xiàn)場(chǎng)解讀了深度學(xué)習(xí)十年發(fā)展史，并展望了人工智能未來十年的發(fā)展機(jī)遇與突破。

鄧力稱，人工智能是一大串的技術(shù)，包括邏輯推理技術(shù)、機(jī)器學(xué)習(xí)技術(shù)等，在機(jī)器學(xué)習(xí)的技術(shù)又包括深度學(xué)習(xí)的技術(shù)。機(jī)器學(xué)習(xí)所解決的問題，是要用數(shù)據(jù)跟統(tǒng)計(jì)的方法或者神經(jīng)網(wǎng)絡(luò)的方法來解決現(xiàn)實(shí)生活中的任務(wù)。在機(jī)器學(xué)習(xí)里面最重要的一塊就是深度學(xué)習(xí)，它也包括一大串的技術(shù)加上應(yīng)用。目前，深度學(xué)習(xí)在語音和圖像等方面的應(yīng)用讓這兩塊領(lǐng)域取得了大規(guī)模的進(jìn)展。

對(duì)于深度學(xué)習(xí)，鄧力著重強(qiáng)調(diào)了自己的看法。他說，深度學(xué)習(xí)有三個(gè)要點(diǎn)，一是它包括好幾個(gè)不同層次的非線性變換；二是如何優(yōu)化這個(gè)多層次的系統(tǒng)，尤其是深層優(yōu)化是一個(gè)特別難的問題，算法上10年前端到端的優(yōu)化學(xué)習(xí)問題開始得到解決；三是抽象性是深度學(xué)習(xí)最重要的精華，尤其是在語音識(shí)別和圖像識(shí)別之外的認(rèn)知領(lǐng)域應(yīng)用。

遭遇移動(dòng)互聯(lián)網(wǎng)危機(jī)的微軟，在如今的大數(shù)據(jù)時(shí)代復(fù)蘇。關(guān)于微軟在AI上的戰(zhàn)略發(fā)展，鄧力解釋到，當(dāng)時(shí)他和所在的微軟團(tuán)隊(duì)于2012在IEEE上發(fā)表了一篇文章，成為深度學(xué)習(xí)在語音識(shí)別方面的經(jīng)典工作，這篇文章通過深度神經(jīng)網(wǎng)絡(luò)，使得大規(guī)模的語音識(shí)別取得進(jìn)展。這也奠定了微軟在語音識(shí)別領(lǐng)域的方法，深度學(xué)習(xí)自此被引入語音識(shí)別，目前這種方法現(xiàn)在還在用。

關(guān)于深度學(xué)習(xí)的局限性，鄧力稱，目前深度學(xué)習(xí)的局限性主要是幾乎所有成功的方法都需要有非常大量的數(shù)據(jù)，這種數(shù)據(jù)一定要輸入輸出全部匹配好，不匹配好的話，沒有任何方法能夠做得非常成功。下面還有一大串的局限，比如Black box，很多研究在破這個(gè)黑箱，走出現(xiàn)有神經(jīng)網(wǎng)絡(luò)的框架，要能夠把以前大家所做的深度Bayes的方法加上一大串其它的方法整合到一起，就有望解決黑箱的問題。同樣重要的一點(diǎn)是，神經(jīng)網(wǎng)絡(luò)現(xiàn)在非常難把知識(shí)自動(dòng)擴(kuò)大，就像小孩長大，他的知識(shí)一步步擴(kuò)大，但是現(xiàn)在人工智能還沒有自主學(xué)習(xí)的能開。目前，我跟很多研究人員交流，怎么能夠把基于神經(jīng)計(jì)算的深度學(xué)習(xí)跟符號(hào)邏輯連在一起，你把邏輯關(guān)系搞清楚就能解釋所有的東西。

以下為鄧力在世界人工智能大會(huì)上的演講實(shí)錄：

主持人：接下來有請(qǐng)微軟人工智能首席科學(xué)家鄧力上臺(tái)演講。

鄧力：感謝大家！貴賓們好，朋友們好。我今天首先要感謝組委會(huì)給我這個(gè)機(jī)會(huì)，在這里向大家介紹微軟的一些深度學(xué)習(xí)研究，也感謝組委會(huì)專門給我這個(gè)題目，叫我講一下十年深度學(xué)習(xí)的歷史。正像你們剛才聽到Y(jié)oshua Bengio教授講的一樣，微軟在深度學(xué)習(xí)的開始階段就做了非常大的啟動(dòng)。今天繼續(xù)向大家介紹一下在這之后我們很多的進(jìn)展。最后分享一下對(duì)未來的展望。

組委會(huì)告訴我，今天的觀眾有相當(dāng)多的投資人士，以及技術(shù)人士，從業(yè)界來的。所以我向大家介紹兩禮拜前《財(cái)富》雜志的一篇文章，講了深度學(xué)習(xí)一部分的歷史。趁此機(jī)會(huì)也向大家介紹這篇雜志文章里面給的深度學(xué)習(xí)的定義。從技術(shù)的角度從科學(xué)的角度來講，我想再補(bǔ)充一些材料，使得大家對(duì)深度學(xué)習(xí)跟人工智能的看法有一些更深入的了解。

這是《財(cái)富》雜志所講的定義，這個(gè)定義基本是準(zhǔn)確的。比如說定義人工智能。它包括一大串的技術(shù)，包括邏輯推理技術(shù)，包括機(jī)器學(xué)習(xí)技術(shù)，在機(jī)器學(xué)習(xí)的技術(shù)又包括深度學(xué)習(xí)的技術(shù)，在這里面主要的一塊是機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)所解決的問題，是要用數(shù)據(jù)跟統(tǒng)計(jì)的方法或者神經(jīng)網(wǎng)絡(luò)的方法來解決現(xiàn)實(shí)生活中的任務(wù)（tasks）。在機(jī)器學(xué)習(xí)里面最重要的一塊——深度學(xué)習(xí)，它也包括一大串的技術(shù)加上應(yīng)用。雖然在這個(gè)文章里面只講語音應(yīng)用和圖像應(yīng)用，實(shí)際上還有一大串自然語言處理的應(yīng)用。在這個(gè)演講里面，我把這些新的應(yīng)用和新的技術(shù)向大家介紹一下。

剛才《財(cái)富》雜志的文章講的深度學(xué)習(xí)還是從商業(yè)的方面來講，大家能夠看得懂。要是看Wikipedia，它講的深度學(xué)習(xí)的定義比剛才的文章更深一點(diǎn)。我向大家介紹一下Wikipedia的定義，深度學(xué)習(xí)有三個(gè)要點(diǎn)，第一，這是一般的定義，不單單是神經(jīng)網(wǎng)絡(luò)，它包括各種各樣的其它方法。它的精髓——好幾個(gè)不同層次的非線性變換。第二，因?yàn)橛泻枚鄬哟危�就出來了一個(gè)非常重要的問題——怎么樣來優(yōu)化這個(gè)多層次的系統(tǒng)。在淺層學(xué)習(xí)的模型里面，這個(gè)優(yōu)化問題不是那么嚴(yán)重，因?yàn)楸容^容易優(yōu)化。但是一旦有深層之后，這個(gè)優(yōu)化就成為一個(gè)非常難的問題。這也是其中很大的一個(gè)原因?yàn)槭裁丛?0年代、80年代當(dāng)時(shí)深度神經(jīng)網(wǎng)絡(luò)并沒有能夠產(chǎn)生很大的影響。當(dāng)時(shí)數(shù)據(jù)不夠，計(jì)算能力也不夠，而且當(dāng)時(shí)算法也不夠。差不多十年之前端到端的優(yōu)化學(xué)習(xí)問題開始得到了解決——并不是說理論上得到解決，我只是說在實(shí)際算法上得到了解決。第三，這點(diǎn)更重要，尤其在語音識(shí)別和圖像識(shí)別之外的更重要的認(rèn)知領(lǐng)域的應(yīng)用。在這種更高層次的應(yīng)用情況下，深度學(xué)習(xí)更重要的是，因?yàn)樗�有不同層次的表達(dá)，它就能夠把抽象的概念進(jìn)行層次化的表征。在我下面講的應(yīng)用中我想特別是把第三個(gè)要點(diǎn)向大家描述得更深刻一點(diǎn)。頭兩個(gè)特性一般是大家在深度學(xué)習(xí)上看得比較清楚的，而且很多的文獻(xiàn)講得比較多。第三點(diǎn)的抽象性確實(shí)是深度學(xué)習(xí)的最重要的精華。

關(guān)于深度學(xué)習(xí)十年的歷史，我從《財(cái)富》雜志的文章里面抽取出來一張表。理論上開創(chuàng)性的工作，剛才王老師講到神經(jīng)網(wǎng)絡(luò)可以追蹤到好幾十年前。我只講講近代的歷史。90年代第二次人工智能浪潮，主要也是由神經(jīng)網(wǎng)絡(luò)突破引起的，當(dāng)時(shí)的突破只是在概念上的突破，神經(jīng)網(wǎng)絡(luò)的一些算法成為非常主流的算法，一直延伸到現(xiàn)在。但是應(yīng)用上的大規(guī)模突破只是到最近Yoshua Bengio教授講的前五年之前才開始。

這是一篇非常重要的文章，多倫多大學(xué)差不多20年前發(fā)表的文章“Wake Sleep”算法---怎么讓神經(jīng)網(wǎng)絡(luò)做非監(jiān)督的學(xué)習(xí)。當(dāng)時(shí)90年代中第二次神經(jīng)網(wǎng)絡(luò)熱潮往下降，一直做不起來。大家往深層次的模式來想，那時(shí)候這種方法也沒有成功，但是對(duì)我有了非常大的啟發(fā)。我當(dāng)時(shí)在加拿大任教做時(shí)程上的深層次的神經(jīng)網(wǎng)絡(luò)研究，在1994年寫了這篇文章。我當(dāng)時(shí)做語音識(shí)別做了相當(dāng)長的時(shí)間，一直比不上統(tǒng)計(jì)概率的模型。我跟研究生和同事寫的這篇文章，做了非常強(qiáng)的分析，跟Yoshua Bengio一篇文章有點(diǎn)類似，當(dāng)然你的網(wǎng)絡(luò)層次非常深以后，學(xué)習(xí)的困難就變得越來越大。當(dāng)時(shí)用到語音識(shí)別上面沒成功。但是給我們很大的啟發(fā)，到底要往哪個(gè)方向走？這是20年前的事情。在這之后，因?yàn)榇蠹叶颊J(rèn)識(shí)到神經(jīng)網(wǎng)絡(luò)成功的機(jī)會(huì)不是很大，更重要的原因是當(dāng)時(shí)統(tǒng)計(jì)的模型發(fā)展得非常快，另外還有SVM機(jī)器學(xué)習(xí)的模型在那時(shí)候?qū)嶋H應(yīng)用的效果遠(yuǎn)遠(yuǎn)超過神經(jīng)網(wǎng)絡(luò)，當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)就慢慢像剛才Yoshua Bengio教授講那樣削弱了。

之后不久我從大學(xué)跳到微軟公司，當(dāng)時(shí)我的一個(gè)團(tuán)隊(duì)做了深層的動(dòng)態(tài)的Bayesian網(wǎng)絡(luò)，相對(duì)比較容易解釋。但是有一大串的問題。十年前在深度Bayesian網(wǎng)絡(luò)問題現(xiàn)在已慢慢得到解決。深層次模型的最早的一個(gè)突破還得歸功于Geoffrey Hinton的一篇文章《A Fast Learning Algorithm for Deep Belief Nets》。這篇文章確實(shí)成為深度學(xué)習(xí)的開始之一，現(xiàn)在大部分的深度學(xué)習(xí)模型是一層一層網(wǎng)絡(luò)不斷從下往上。這篇文章正好相反，不是往上，更注重從上到下生成數(shù)據(jù)。有點(diǎn)像“做夢(mèng)”，你做夢(mèng)的時(shí)候可以產(chǎn)生一些夢(mèng)想。做的“夢(mèng)“產(chǎn)生一些數(shù)據(jù)，你在醒的時(shí)候就可以把你所看到的東西能夠抽象出來總結(jié)出來，成為你感知的對(duì)象。經(jīng)過反復(fù)的上下反復(fù)的過程，就可以產(chǎn)生一種非常巧妙的模型，而且對(duì)這種模型來說這篇文章介紹了非常巧妙的學(xué)習(xí)方法。我當(dāng)時(shí)看到這個(gè)方法以后覺得這和我的深度Bayesian語音識(shí)別模型會(huì)有什么關(guān)系。當(dāng)時(shí)沒看很懂，想探索怎么把這種模型跟我們的深度Bayesian語音識(shí)別模型結(jié)合起來。當(dāng)時(shí)請(qǐng)他到我們的西雅圖共事一段時(shí)間。2009年底搞了一個(gè)NIPS講習(xí)會(huì)，將深度學(xué)習(xí)各種不同的方法在語音識(shí)別上的應(yīng)用總結(jié)一下，那時(shí)候已經(jīng)有初步的結(jié)果出來，但是結(jié)果不是特別好。所有的深度學(xué)習(xí)在語音識(shí)別上面都是聚集在非常小的數(shù)量上面，大概1 million的數(shù)據(jù)量，非常局限。當(dāng)時(shí)大規(guī)模的神經(jīng)網(wǎng)絡(luò)威力還沒顯示出來，這之后我們?cè)谖④浕�了大概一年多的時(shí)間發(fā)明了一些很有效的方法，使得DBN，深度神經(jīng)網(wǎng)絡(luò)加上隱馬爾可夫模型，三個(gè)不同的技術(shù)整合到一起就成為這組架構(gòu)。這種神經(jīng)網(wǎng)絡(luò)同時(shí)跟其它的機(jī)器學(xué)習(xí)，人工智能方法