一場疫情，讓所有線下會議按下了暫停鍵，AI也不例外。

但一年一度的“頂會”卻不能不開，于是在4月26日，ICLR 2020(國際表征學習大會)就采取虛擬會議的形式，讓所有網友得以共襄盛舉。

值得一提的是，本次ICLR 大會接受了2594篇論文中的687篇，吸引了來自近90個國家的5600多名參與者，比2019年的2700人翻了一倍還多。不過，受疫情影響，這次大會也沒有評選最佳論文。

既然如此，有沒有出現什么新鮮事物，值得我們思索和探究的呢?

那就不得不提到圖靈獎獲得者、蒙特利爾學習算法研究所主任Yoshua Bengio，在其特邀報告中著重強調的“AI覺醒”。

此前我們科普過，通用人工智能有多么遙遠。怎么短短幾年功夫，人工智能就要覺醒了?這就不得不從被Bengio視作機器學習大殺器的注意力機制說起了。

將意識注入機器：注意力機制再添重任

腦極體的資深讀者應該對注意力機制并不陌生。在圖像處理、語音識別、自然語言處理等機器學習任務中，近兩年來都會引入注意力模型。

這么受業界歡迎，它的特點自然很突出：

一是可以讓神經網絡學會只關注特定的部分，大幅度提升任務的效果與效率，在神經機器翻譯、預訓練語言模型、圖像識別等任務中都表現出了前所未有的成效。2015年Bahdanau 等人提出注意力機制之后，就被ICLR 錄用，如今它的各種變式已經成為機器翻譯算法的“標配”。

二是降低機器學習的成本，同時增加可解釋性。大家都知道深度學習神經網絡的模型訓練，往往依靠大規模的數據集，不僅數據獲取成本很高，訓練的算力、時間也不菲，而注意力機制的“選擇性”，能夠直接為訓練提質增效，并且還能為序列數據建立了權值和映射，從而讓輸入和輸出能夠聯系起來，避免了算法的“黑箱性”。

既然注意力機制并不是什么新鮮事物，為什么Bengio特意在其報告《與意識相關的深度學習先驗》中，將注意力機制奉為圭臬，甚至成了AI的希望?

簡單來說，Bengio認為注意力機制能夠幫助機器學習模型獲得“有意識”的推理。

此前，諸多算法創新(如自監督學習、元學習、多任務學習、遷移學習等)都是在幫助機器學習獲得“無意識”，也就是與人類直覺、習慣、先驗經驗等類似的能力。

有了這種能力，AI可以很快地執行一些直覺型的任務，讓人感到非常智能。比如當AI被訓練學會了一些隱性知識以后，能夠將這些知識內化，在遇到新事物時不需要重新訓練，就能夠很快適應。舉個例子，當AI記住路況之后，它能夠自如地跟乘客聊天，同時也不耽誤自己隨時響應交通狀況、安全駕駛。這是不是已經超越許多人類駕駛員了呢?

但如果是在一個全新的道路上開車，如果有人在耳邊吵鬧，就會打斷人類司機的思路，使對方無法集中精力處理。這時候就要用到前面提到的“有意識的”系統，來將一些新的概念，在新的情況下與不熟悉的東西聯系起來。

就像《西部世界》的科學顧問、神經學家大衛·伊格爾曼(David Eagleman)所說，意識，是一種突破程序設定的連接。

當機器可以超越設定開始自行推理和思考，適應甚至推斷出外界變化發生的原因，這不就是Deloris(《西部世界》女主角)們覺醒的時刻嗎?

從這個角度講，“有意識”的推理能力，正是深度學習變強大所需要的。

從超越人到模仿人，AI的回歸之路

既然“操縱”意識這么帶感，學者們又是如何為之努力的?過去數年間，注意力機制已經發生了不小的發展和進步。

從時間上看，注意力機制的能力開始為AI所用，要追溯到2014年谷歌團隊在一個RNN卷積神經網絡模型上用它來進行圖像分類。但真正爆發，主要還是由于其在NLP機器翻譯任務中證明了自己。

2017年，谷歌機器翻譯團隊發表的《Attention is all you need》中，提出了一種新穎的基于注意力的機器翻譯架構，大量使用自注意力(self-attention)機制來學習文本表征，成為當年最具影響力的論文之一。

隨后，它開始被廣泛應用在基于RNN/CNN等神經網絡模型的NLP任務中，也延伸出了不少變式，比如基于輸入項的柔性注意力(Item-wise Soft Attention)、基于輸入項的硬性注意力(Item-wise Hard Attention)、基于位置的柔性注意力(Location-wise Soft Attention)等等，核心指導思想都差不多，就是在神經網絡的隱藏層，增加注意力機制的加權。

但需要注意的是，注意力機制依然存在不少問題：

比如，注意力機制與其說是一種技術，不如說是一種指導思想。通過模擬人類閱讀、聽說中的注意力行為，來為不同輸入數據分配不同的權重。想要去的比較理想的效果，依然需要大量的數據投入訓練。

可以說，注意力機制在神經機器翻譯(NMT)任務上的優秀表現，依然建立在有大量高質量語料的前提下。一旦面對比較極端的情況，比如某些語言幾乎沒有任何雙語語料，那再強的注意力機制也得抓瞎。

再比如，注意力機制達到“有意識”推理的前提，是具備理解隱性知識的能力，也就是那些難以用語言、文字、圖表進行表述說明，不經過邏輯推理、而是借由感官、直覺、領悟獲得的能力。

這對人類來說是“小菜一碟”，但想要將其嵌入到深度學習算法里面，卻并不是一件簡單的事。DeepMind就曾開發出一個交互式網絡，試圖教會智能體像嬰兒一樣迅速了解到某些對象的屬性和關系。交互式網絡的預測結果要比一般神經網絡精確得多，但距離模擬人類直覺迅速反饋，還為時尚早。而且，機器必須犯上成千上萬次的錯誤，才能做出和人類一樣的正確操作。

換句話說，Bengio眼中的“注意力機制”，其實是升級版的“注意力3.0”，距離“機器覺醒”還早著呢。

機器覺醒，光靠Attention單打獨斗還不行

上述問題不僅阻攔了注意力機制的“封神之路”，也是阻擋人工智能發揮更高價值的障礙。

接下來向何處去，或許正如注意力機制被引入RNN一樣，繼續主動引入其他領域的算法和模型，會帶來不可知的神奇效果。

而從ICLR 2020的技術趨勢來看，也有不少算法開始被用來，與注意力機制一起解決諸如直覺、泛化等機器能力的重要問題。

比如元學習。在今年的入選論文中，谷歌有5篇是專門研究元學習。

簡單來說，元學習就是要讓智能體利用以往的知識經驗“學會如何學習”(Learning to learn)，然后更高效地完成新任務。

具備這種能力，自然也就能夠解決訓練數據不足、系統通用性低等問題，幫助AI不斷豐富和修正自身的知識網絡。具備了這一能力，獲得了人類常識的AI才有希望到達“有意識”的推理。

最后，也有必要大開腦洞，試想一下如果“有意識”的推理實現，AI真的覺醒了，又會為人類帶來什么呢?

猜想一，AI的服務能力會顯而易見的提升，在實踐中不斷學習處理復雜的工作將不再是難事，想象中的智能家政機器人、智能女友/男友，都不再是問題。

猜想二，AI可以像人類一樣推理，同時擁有了情感，那么自然可以締結自己的社會關系，屆時為什么整個社會還需要如我這樣的普通人，咱也不知道。

幸好，今天無論是注意力機制，還是人工智能本身，想要復刻人類的腦力還需要更長的時間，以及更多的耐心。更值得欣慰的是，在疫情“黑天鵝”的席卷之下，AI依然帶領全球產業者連接、思考、探尋未來的藏寶圖，這或許就是技術最令人沉迷之處。