當AI具有人類大腦的進化能力，機器能產生“智慧”嗎？
神經進化正在復興。主要的人工智能實驗室和研究人員正在試驗它，一絲新的成功點燃了更多的熱情，能對于深度學習產生影響的新機遇正在出現。也許你在深度學習所有的激動人心的時刻并沒有聽到過神經進化，但它只是潛行于表面之下，作為一個小的熱情的研究社區的課題存在了幾十年。現在它正伴隨著大眾對于它的潛力的了解而開始獲得更多的關注。
簡單來說，神經進化是人工智能和機器學習領域的一個分支。它力圖觸發一個和產生我們人類大腦類似的進化過程，只不過這個過程是在計算機里實現的。換句話說，神經進化試圖開發通過進化算法去尋找進化神經網絡的方法。
當我在上世紀九十年代末期第一次開始人工智能的研究的時候，關于可以在計算機里去進化大腦的想法和我想冒險的感覺產生了共鳴。在當時這還是一個不尋常的、甚至是很含糊的領域。但我對這個思想非常好奇而且也很有親切感。結果就是我生命里的20多年都在思考這個主題，并和杰出的同事一起開發出了一系列的算法，比如NEAT、HyperNEAT和新穎性搜索（noveltysearch）。在本博文里，我希望能帶給你神經進化的一些激動人心的部分，并對這個主題給出一些洞見，但不會有科學文獻里那些讓人頭暈的術語。我也會部分采用自傳回顧的視角來把我在這個領域里摸爬滾打的經歷講述一下。我希望我自己的故事能為更多的讀者打開一扇探索在計算機里進化大腦的窗戶。
深度學習的成功
如果你最近一直在跟蹤人工智能或是機器學習領域，你可以已經聽說了深度學習。要感謝深度學習，計算機已經在諸如圖像識別和控制無人駕駛汽車（甚至是控制電子游戲的角色）這樣的任務上接近或是有時超越人類的表現。這些成就已經幫助深度學習和人工智能從默默無聞的學術期刊里一躍出現在大眾傳媒上，并激發了公眾的想象力。那么在深度學習的背后是什么使這一成功成為可能？
實際上，在深度學習的表面下是一個已經有幾十年歷史的技術的最新形式，它就是人工神經網絡（ANN）。與很多AI領域里的思想一樣，ANN也是來自生物學的靈感。對ANN來說，它是模擬人類的大腦。我們之所以選擇大腦作為AI的靈感來源，是因為大腦是迄今為止唯一明確的智能載體。當我們想實現人工智能時，在某種程度上，模仿大腦應該是一個講得通的思路。大腦的一個關鍵組件就是神經元。它是一個很小的細胞，可以通過連接想其他的神經元發送信號。當非常多的神經元彼此連接形成一個網絡（正如大腦里就是這樣），我們稱之為一個神經網絡。因此，一個ANN就是試圖模仿類似神經元這樣可以相互間發送信號的組件的集合。這就是在深度學習里面的深度網絡背后的機理。
ANN的研究人員通過程序來模擬這些神經元以及在他們中間傳輸的信號，獲得了一個比較模糊的模擬大腦里發生的事情的過程。當然，這兩者間是有著非常多的不同的。但真正的挑戰是，僅僅只是簡單地把一堆類似神經元的元素彼此相連并讓他們相互間共享信號并不能產生智慧。相反的，智慧是精確地來源于神經元是如何連接的。
例如，一個神經元強烈地影響著另外一個神經元被稱為有一個很大的權重連接到它的伙伴。在這里，這個連接的權重決定了神經元是如何彼此影響的，從而產生了一個神經網絡里神經激活的特定模式，來響應到達神經網絡的輸入（比如，來自眼睛的輸入）。要想得到一個智能的網絡，相應的挑戰就變成了如何決定網絡連接的權重的問題。
通常，沒人會通過手工計算得出連接的權重（考慮到現代的ANN一般都有上百萬個連接，你就能明白為什么手工的方法不現實了）。相反的，為某個任務找到正確的連接權重就被看成了一個學習的問題。換句話說，就是研究人員花費了大量的精力去發明讓ANN自己去為特定的任務學習最佳權重的方法。最常見的學習權重的方法就是把ANN的輸出（比如，那個看著像是條狗）和標準答案去比較，然后通過特定原則里的數學公式來改變權重，從而使下一次輸出正確的可能性更大。
在經過這樣無數次的比對樣例（可能會有上百萬個）的訓練后，神經網絡就開始能夠分配正確的權重來準確地回答各種各樣的問題了。經常性的，神經網絡的能力甚至能泛化到可以回答它沒有碰到過的問題，只要這些問題和之前訓練里看到的問題差別不那么大。到此為止，ANN基本上學會了去應對特定的問題了。一種常見的調整權重的方法就是隨機梯度下降法，它是之前提到的深度學習里面非常流行的一個組件。最近幾年的深度學習的實現基本上是對由非常多層的神經元（這就是為什么叫深度的原因）構成的ANN進行海量的訓練。這也得益于近年來出現的強大的計算硬件的幫助。
但這里有一個我還沒提到的問題，即我們首先如何決定誰連接到誰？換句話說，就是我們的大腦不只是由連接權重決定的，它還是由大腦內部的結構決定的。隨機梯度下降甚至都沒法去解決這個問題，而只是盡力去優化給它的連接。
這些連接是怎么來的？在深度學習里，答案就是：它們基本是由研究人員基于一定程度的經驗來決定整個網絡的架構是什么樣的。與之相對的，自然界的大腦的結構則是通過進化形成的。我們人類大腦里的100萬億個連接的架構是來自于數百萬年的優勝劣汰的自然選擇過程后進化來的。
我們大腦的架構是超級無敵。畢竟毫不夸張地說，人類的智慧都集中在那里。這實際上就意味著自然界里的大腦的進化是迄今為止唯一已知的產生強智慧的過程。神經進化學的目標就是在計算機里觸發一個類似的進化過程。從這個方面講，神經進化學是人工智能專業里唯一的一個有著實際的概念證明（大腦確實是進化來的）的分支。我們知道這是一條可以產生智慧的道路。
說的更清楚點，深度學習傳統上關注于對ANN編程來學習，而神經進化則側重于大腦網絡自身的原始架構。它可以包括誰和誰來連接、連接的權重以及（有時）這些連接如何允許被改變。當然，這兩個領域是有一些交叉的。比如ANN依然需要為特定任務進行學習，無論是否進化過。有可能進化得到的ANN可以利用深度學習里的方法（比如隨機梯度下降）來獲得恰當的權重。實際上，深度學習甚至可以被認為是神經進化的一個兄弟。它研究的是如何對于一個ANN（無論是進化來的還是預先定義）的架構來學習連接的權重。
但是，學習機制自身是可以進化的觀點也是可能的，從而讓神經進化有著能超越或是更詳細地說明傳統的深度學習的潛力。簡而言之，大腦（包括它的架構和如何學習）是自然選擇的產物。而神經進化可以探索大腦出現的所有因素，或是借鑒深度學習的某些方面而讓進化來決定其他的部分。
神經進化是怎么工作的