Gigaom對話吳恩達:遷移學習是未來五年的重要研究方向

選自Gigaom

機器之心編譯

吳恩達，百度首席科學家、百度大腦項目負責人，一位與 Geoffrey Hinton、Yoshua Bengio、Yann LeCun 齊名的人工智慧專家。近日，吳恩達接受了技術研究和分析公司 Gigaom 的專訪，談及了未來五年人工智慧重要研究領域、中國人工智慧研究以及人工智慧與經濟、社會關係等問題。

問：談談你在百度的日常工作吧。你們的人工智慧團隊在做什麼？

答：我們從事基礎人工智慧技術的開發工作。所有技術，從語音識別到計算機視覺、自然語言處理、數據倉庫、用戶理解，我們用人工智慧技術支持很多百度國際業務並孵化新業務方向。比如，在百度，所有主要業務線都已經轉型使用了人工智慧。從網頁搜索、廣告到機器翻譯、給用戶推薦飯館等。所以，人工智慧在百度很普遍了。除此之外，我們也看到了人工智慧所帶來的許多新機遇，比如改善基於對話的（基於聊天窗口）的醫療助理，或使用面部識別打造自動開門的十字轉門。我們所有團隊也在追求那些新的垂直領域裡的機遇。

問：在基礎研究領域，你有沒有什麼想做的事情？比如，那些或許有用但我們卻搞不清楚其所以然的事情？

答：我們在基礎研究領域做了很多工作，有趣的是，成功的基礎研究一開始會以基礎研究的面貌出現，但是，一旦你看到了它的應用價值，過一段時間後就會變得不那麼基礎了。我們做了很多這樣的研究。可以說，在百度，早期的面部識別是以基礎研究的面貌起步的，但是，這個服務如今融入產品中了，也服務著產品的百萬用戶。神經機器翻譯最初也是一項基礎研究。實際上，這個故事有著不廣為人知的另一面：神經機器翻譯是在中國開創、研發和使用的。美國公司的研發和使用是在百度之後。中國團隊在某個研究領域領先其他國家，這只是例子之一。我們在計算機視覺方面的基礎研究，比如，面部識別，也一直處於領先位置。今天，我們正在會學習的機器人和機器學習領域進行廣泛的基礎研究。我們的研究覆蓋了從非常基礎的研究到非常應用的研究的所有階段。

問：百度團隊是什麼樣子？通常你的團隊的都是小規模的嗎？團隊以開發人員為重？你找到了一個成功的分配有限資源的辦法了嗎？

答：這個問題比較複雜。很多項目開始時是小規模的。比如，一年前，自動駕駛團隊有 22 個人。但是在團隊展現了自己的實力、初步顯示出前景並制定一個深思熟慮過的商業計劃後，公司就有理由為其團隊建設注入龐大資源，如今團隊可能有幾百個成員。團隊從最初的一個基礎研究項目變成一個嶄新的業務分支。所以很多項目都是從相對小的團隊開始的，不過，在其邁入正軌而且價值也清晰了後，我們就能將其嵌入一個擁有很多成員（幾十人甚至幾百人）的團隊中。

問：如今人工智慧領域，你認為五年內可以解決的難題之一是什麼? 也就是今天很難解決但是五年後就會普遍加以實現的事情？

答：從研究角度出發，我認為遷移學習和多任務學習是我想試著解決的問題之一。今天，機器學習全部經濟價值都是應用學習，從針對特定任務的標記數據中學習，比如通過大量標記數據人臉資料庫學習識別面部。對於很多任務來說，特定垂直領域的數據並不足以支持系統建構。因此，遷移學習會是一個很有活力的領域，機器機器可以學會一個不同的任務。比如，學會大體上識別物體。學會大體上識別物體後，這個知識中有多少會對識別面部的特定目的有用。

從研究角度看，我認為這個非常非常有前途，現在也有廣泛使用著的用於這類遷移學習的技術，不過有關如何實現的理論和最佳實踐仍然處於相當早期階段。我們之所以對遷移學習感到興奮，其原因在於現代深度學習的巨大價值是針對我們擁有海量數據的問題。但是，也有很多問題領域，我們沒有足夠數據。比如語音識別。在一些語言中，比如普通話，我們有很多數據，但是那些只有少數人說的語言，我們的數據就不夠龐大。所以，為了針對數據量不那麼多的中國少數人所說的方言進行語音識別，能將從學習普通話中得到的東西進行遷移嗎？我們的技術確實可以做到這一點，我們也正在做，但是，這一領域的進步能讓人工智慧有能力解決廣泛得多的問題。

問：人工智慧可以告訴我們任何有關人類智能的有用信息嗎？或者，反過來，從人工智慧那裡獲取的線索能幫助 AI 更好地工作嗎？亦或是這種情形，人工智慧和人類智能只是都用了「智能」這個詞而已，兩者沒有任何相似之處？

答：從神經科學中獲取的知識對當前人工智慧的發展只有一丁點用。現實一點說，儘管神經科學研究了幾個世紀，今天我們對人類大腦的工作方式幾乎還是完全不了解，對大腦工作原理那點極為少量的知識僅能為人工智慧提供一些並不可靠的靈感，不過，實際一點說，今天人工智慧取得的成績更多的是受計算機科學原理驅動的，而不是神經科學原理。我已經說過，在自動化人類所能的事情上，人工智慧已經變得非常擅長了。比如，人非常善於語音識別，但是人工智慧在語音識別上表現不好。人非常善於人臉識別，人工智慧正在人臉識別上進展迅速。

事實證明，當我們試著將人類可以做的一件事情自動化而不是解決人類都無法完成的任務時，用於推進該人工智慧技術的工具也會更好地發揮作用。原因很多，但是原因之一在於，當我們試著選擇一個人類也可以勝任的任務，讓人工智慧參與進來時，我們就能深入找出人類怎麼可以迅速完成這一任務原因。因此，在展望很多人工智慧垂直領域時，我們當然可以做一些甚至人類自己都不很擅長的事情。我認為，現在亞馬遜向我推薦的書目甚至比我妻子推薦的還要好。我妻子當然非常了解我，但是亞馬遜能做到這個程度是因為它積累了大量有關我的瀏覽和閱讀書目數據，這些數據遠遠多於被妻子看到的閱讀書目。我大致認為，有了幾個類似這樣的例外，當人工智慧試著自動化至少人類也能做到的事情時，就會進展神速。

問：您總是在預測人工智慧將實現這個問題持保守意見，我認為您這樣做的部分原因是因為擔心公眾狂熱的期望會對人工智慧研究科學造成災難性後果，特別是關乎資金方面，我這樣說對嗎？

答：我很傾向實用性，並努力成為一名實用主義者。但是在這一點上我想提出一個略有不同的觀點。如果我開始組建一個團隊來治療所有人的疾病，這是非常值得慶祝的事，因為這聽起來簡直就像是一個偉大的使命。但是坦率地說，在矽谷有時候目標太高就會不受歡迎並一定會有反對的觀點出現。我們比較喜歡討論怎麼錨定月亮那樣的話題，因為即使我們失敗了還能錨定星星。但我認為實際上目標太高會存在一個成本，所以如果你的目標是解決瘧疾而不是組建團隊解決世界所有的疾病，那麼它可能會更有成效，對世界產生更大更好的影響。所以我認為，將人工智慧應用於世界會產生更有意義的影響。我認為我們不僅可以通過自動駕駛汽車、人工智慧物流改變交通運輸，還可以通過人工智慧完全地改變醫療。我們可以通過人工智慧在世界上做出重大的改進。所以我所做的很多努力都是在為這些具體的、可行的事情做準備。因為我認為這對世界實際上更有成效，我們不會花時間去研究也幾百年都不會到來的科幻小說場景。我認為這種為科幻小說花時間的事在矽谷是不受歡迎的。

話雖如此，但作為一個社會，我們需要從事做各種各樣的事情。所以我認為有一些人努力解決瘧疾，並希望通過蓋茨基金會（Gates Foundations）和世界衛生組織（World Health Organization）幫助工作，而另外一些人努力解決人類所有疾病會讓社會變得更好。我認為社會以不同的方式分配資源是一件好事。但我也認為這對我們領域的進步也是十分有幫助的。當我們思考「什麼是我們有信心可以實現的任務？」對抗「什麼是我們應該投資的進一步夢想？」，我們團隊有一部分人在做這個，不過那只是我們整體努力的一個小方向。

問：你相信人工通用智能（AGI）的可能性嗎？如果是的話，如果是的話，那你認為它是沿著我們已知技術的進化路徑實現么，背後的摩爾定律，或者 AGI 是不是需要一個整體的根本性突破，而這個突破甚至是不能預料到的東西？

答：我認為實現 AGI 肯定需要多個突破，但這很可能會發生。因為有軟體演算法的突破和硬體可能的突破。然而，我發現很難預測這一突破是在十年後還是千年後出現。

問：您認為人類的創造力，如編寫劇本或小說的能力是否需要另外一個 AGI，或者就是現在我們掌握的技術？

答：我認為很多創造力其實是我們不太了解我們創造它的過程。例如，Garry Kasparov 說他看到了深藍（Deep Blue）創造性的下棋。作為技術專家，我知道國際象棋程序是如何運行的，在任務中通過投入驚人的計算量，深藍能夠下一步妙棋，而這一步妙棋可能在象棋大師眼裡就是一種創造性的舉措。我自己也研究過創造性過程，創造力是十分困難的工作，因為創造力是增加許多小模塊並拼合到一起，然後建立起一個好像是從無到有的巨大事物。但是，如果有人沒有看到所有的小模塊，或拼合這些小模塊成為創造性的物體有多難，那麼我認為創造力的實質比它外表上看起來更加神奇。

我的藝術家朋友一遍又一遍地練習單個畫筆，並一遍又一遍地畫出類似的畫，然後他就逐漸取得了進步。我的祖母是一個畫家，她在完成一幅驚人的作品前都是一點點進步的，當你只看到最終的成果，而沒有看到在完成最終成果之前做所的努力，那麼你就會感到神奇。我認為你所做的所有工作都是通過一點點小增量達成的。

問：所以如果你回顧剛才所談的內容，人類的創造力是可以計算化和可實現的，在合理的時間範圍內。人類的創造力不是什麼非常神秘的東西，或者說是超出我們能實現的範圍的。您同意嗎？

答：是的。要麼通過偶然的絕佳的棋子移動，尋求一個人類還未想到的句子的解釋，創造一個簡單的藝術作品，我認為我們正在見證機器行為具有某種程度的創造性。我們很可能會繼續看到這樣循序漸進的進展，機器在今後幾年內逐漸變得更有「創造性」。

問：您的團隊在地理分布上是怎樣的？大部分團隊成員在哪裡？

答：主要在北京。我們在美國有一個 100 人的團隊，在北京也有一個大的團隊，同時在上海和深圳也有一些小團隊。

問：在機器人技術領域，你能看到不同國家和地區的發展重點。例如在日本，能明顯看到將更多重心放在製造友好機器人上，去製造與人情感化連接的機器人，而不是與世界上其他部分所連接的機器人。那麼在人工智慧裡面，是不是也有類似的情況？因為剛才您提到臉部識別來自中國。在人工智慧領域，不同的公司、不同的地區或者是不同的國家是不是會對有些事情的看法也不同？

答：首先我認為在中國，語音識別是經濟和商業模式帶動發展的一個很好的例子。從產品層面來講，我認為不同的商業壓力和產品優先性會導致不同的國家在不同領域的投資更多或者是更少。在中國就有這樣一些例子。

在中國，用手機鍵盤打中文字要比打英文更加痛苦。所以這反過來也推動了更好的移動端手機語音識別的發展。因此我覺得百度領先在語音識別領域取得的突破也是由於要為用戶帶來語音識別體驗的強大產品壓力的驅使。

至於機器翻譯，你知道美國有很多關於神經機器翻譯的 PR。很多人都不知道的一點是，神經機器翻譯其實是在中國首次開創並得到發展的，之後又成為了產品。美國的一些大型公司都在這之後，我認為導致這個現象的其中一個原因是因為在中國，對將一些公開的內容翻譯成中文的需求很大，而在美國這樣一個說英語國家中，英語的內容非常多。當然中文的內容也很多，但是外國的內容譯成中文會特別快，這是一種文化現象。然而世界上的英語內容已經非常多，所以說英語的人尋求對外語內容的翻譯沒有那麼緊需。

人臉識別作為一種商業在中國發展迅猛，因為作為移動優先的社會，中國人習慣了在移動端進行大筆的金融交易。例如，你可以通過百度獲得教育貸款，我們會基於你的貸款批給你一大筆錢，而這個申請你在手機上就可以完成。在我們通過手機給某個人發一大筆錢的時候，我們對確認這個人的身份就會產生強烈的興趣。所以人臉識別就成為了要實現這一目標的關鍵技術。那些壓力也意味著中國的人臉識別是另外一個發展迅猛的領域，其發展勢頭比其他國家都要快。

不管是在美國還是中國，在人工智慧方面都有很多的創新。我猜還有其他的一些領域。英國在人工智慧玩視頻遊戲方面進行了大量的投資。我個人不會在這一方面進行投資，但是我想不同的組織有不同的興趣和優先性。

我認為如今人工智慧的進步成為了一個全球化現象，而且中國有很多的創新正在發生，而英語世界國家還沒有意識到這一點。這並不是因為保密的問題，我認為這是因為缺乏語言的流暢性。

例如，幾周前我去參加 NIPS 大會，在不到一天的時間之內，所有會議上最重要的演講都被總結或者是轉寫為中文 ，並發布在中國的網路上。所以說巴塞羅那一個英語會議轉變成中文的知識，中國做的非常快並且非常高效。在不到一天的時間之內，很多中國的研究者就可以閱讀我們在西班牙演講的中文版。我認為正是很多中國人熟練的英語口語和寫作能力才讓這成為可能。

不幸的是，逆向的知識轉換要慢得多。因為從全球範圍來看，當前中國之外很多的研究者不說中文。所以當人們發明了很多東西，甚至已經在中國廣泛傳播，一些英語觀眾都渾然不知，有時候甚至是在一年之後，一個英語國家的公司發明了類似的東西之後這些技術才能傳播開來。所以我希望自己能做的其中一件事情就是幫助提高相反方向知識轉換的速度，因為如果我們能夠讓研究社區更加的全球化，那麼全球的研究社區就會進步的越快。

我想有一些具體的例子。首先是在中國，普通話短句的語音識別在一年前超越了人類水平，但是這一成果在全球範圍的知名度並不廣，直到最近才被很多人熟知。我可以看到很多的例子，從語音識別領域取得的進步到神經機器翻譯領域所取得的進步，再到中國率先建立了深度學習 GPU 處理器，但是我希望能夠在中國初次發明之後，在美國也能夠儘快看到這些成就。

問：您有沒有一些網站或者是期刊可以推薦給我們的讀者，以便讓他們能夠更加容易地查找信息？

答：在中國，傳播知識的方式和美國不太相同。在中國，人工智慧在社交媒體上傳播特別快，而是傳播的方式特彆強大，如果不是親身經歷的話可能無法理解。另外，相關的網站非常多，但是很多都是中文網站。你們可以在 Twitter/微博上關注我，我會看看該怎麼幫助大家。

問：在你看來人類意識是什麼？或者更確切地說，你相信人類意識從根本上來說是可計算的嗎？

答：我不知道意識到底是什麼。在哲學領域，對周圍的人是否真正具有意識，或者說他們像是殭屍一樣，以及機器人通過計算表現得好像它們具有意識一樣等這些問題一直存在著爭論。總而言之，我們如何知道除了我們之外的其他人都真正具有意識？還是說他們是機器人？

我並不認為意識是計算機從根本上來說無法實現的，確切地說，是我們應該如何去實現，而實現這一點是需要幾十年還是幾百年，我們還不清楚。