在深度學(xué)習(xí)大熱的同時(shí)，我們也要直面這六個(gè)挑戰(zhàn)
深度學(xué)習(xí)已經(jīng)成為人工智能領(lǐng)域最主要的研究方向，我們熟知的人工智能應(yīng)用（語音識別、圖像處理和自然語言處理）背后都有深度學(xué)習(xí)在支撐。深度學(xué)習(xí)算法通過模擬人腦的神經(jīng)結(jié)構(gòu)來學(xué)習(xí)處理特定的問題，在各個(gè)領(lǐng)域都取得了很驚人的成果，但目前深度學(xué)習(xí)還面臨著一系列挑戰(zhàn)。今天我們就一同來直面這些挑戰(zhàn)。
一個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)
AndrewNg有句名言：我相信深度學(xué)習(xí)是實(shí)現(xiàn)真正人工智能的最佳途徑。
如果你用心觀察周圍的世界，你就會明白這句話里包含的重量。從蘋果的Siri到微軟的小娜，KUKA機(jī)器人維修，從谷歌照片到Facebook的圖像識別，從搜索引擎里的文本自動糾錯(cuò)到在線音樂平臺的推薦引擎，這些技術(shù)為我們的生活帶來了無限的便利，而它們的背后都有深度學(xué)習(xí)在支撐。當(dāng)然這僅僅只是深度學(xué)習(xí)應(yīng)用的幾個(gè)例子，它已經(jīng)深入到我們生活的方方面面并改變著我們的生活。
但是這項(xiàng)偉大的技術(shù)同樣面臨著一系列復(fù)雜的挑戰(zhàn)，主要包括以下幾個(gè)方面：
龐大的數(shù)據(jù)需求
模型的過擬合
模型的優(yōu)化
高性能的硬件需求
神經(jīng)網(wǎng)絡(luò)的不可解釋性
缺乏泛化性
接下來讓我們一起逐一分析這些挑戰(zhàn)！
龐大的數(shù)據(jù)需求
深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動的算法，大量的數(shù)據(jù)是建立精確模型的前提和保證。就像人類需要從經(jīng)歷中總結(jié)經(jīng)驗(yàn)學(xué)習(xí)和提取信息一樣，人工神經(jīng)網(wǎng)絡(luò)也需要巨量的數(shù)據(jù)來分析、提取和總結(jié)。越抽象越強(qiáng)大的模型就需要越多的參數(shù)，同時(shí)也意味著需要更多的數(shù)據(jù)來支撐。
舉個(gè)栗子，如果我們要訓(xùn)練一個(gè)語音識別程序，我們需要不同方言不同長度的語音數(shù)據(jù)以及人口數(shù)據(jù)，并將這上萬G的數(shù)據(jù)送到算法中，經(jīng)過漫長的訓(xùn)練和調(diào)優(yōu)后才能得到一種語言的語音識別程序。這是一個(gè)十分漫長的過程并且需要巨大的算法處理能力，IBM、微軟、蘋果等等都是經(jīng)過了許多年的技術(shù)積累才打到了今天的程度。在一定程度上，可以說利用深度學(xué)習(xí)解決某一個(gè)問題就是一個(gè)如何充分利用巨量數(shù)據(jù)的問題。
同時(shí)神經(jīng)網(wǎng)絡(luò)的復(fù)雜性可以通過其中所包含的參數(shù)數(shù)目來表示。在深度神經(jīng)網(wǎng)絡(luò)中，參數(shù)的數(shù)目都達(dá)到了上百萬甚至上億的量級。如果我們把這個(gè)數(shù)字記為P的話，那么訓(xùn)練出一個(gè)較好性能的神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)規(guī)模至少是P*P。
神經(jīng)網(wǎng)絡(luò)的過擬合問題
有時(shí)，訓(xùn)練數(shù)據(jù)集中出現(xiàn)的錯(cuò)誤和新的未看到的數(shù)據(jù)集中遇到的錯(cuò)誤有很大差異。它一般發(fā)生在復(fù)雜的模型中，比如對于觀察目標(biāo)來說有過多的參數(shù)。一個(gè)模型是否有效一般是通過事先不可見的數(shù)據(jù)集判斷的，而不是通過對提供給它的訓(xùn)練數(shù)據(jù)的性能進(jìn)行評估。
這主要是模型在訓(xùn)練的過程中為了優(yōu)化在訓(xùn)練集上的表現(xiàn)不斷調(diào)整參數(shù)，使得模型記住了訓(xùn)練樣本的樣子，但卻失去了對于新情況下樣本和數(shù)據(jù)的適應(yīng)能力，使得模型使其泛化性。在深度學(xué)習(xí)中，一般使用正則化方法來處理這一問題，但在一些情況下還面臨著許多尚未解決的問題。
超參數(shù)優(yōu)化
超參數(shù)是那些在訓(xùn)練和學(xué)習(xí)過程前預(yù)先定義好的神經(jīng)網(wǎng)絡(luò)參數(shù)，這些參數(shù)對于神經(jīng)網(wǎng)絡(luò)有著巨大的影響，差之毫厘謬以千里。超參數(shù)調(diào)優(yōu)是深度學(xué)習(xí)中一項(xiàng)重要的工作，一個(gè)網(wǎng)絡(luò)的性能優(yōu)劣很可能就取決于超參數(shù)的細(xì)微差別，這也是深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)中的最需要經(jīng)驗(yàn)的地方。
高性能計(jì)算的需求
為了解決真實(shí)世界中的問題，我們的深度學(xué)習(xí)算法需要巨量的數(shù)據(jù)，同時(shí)也需要機(jī)器擁有處理龐大數(shù)據(jù)的能力。為了縮短訓(xùn)練的時(shí)間提高效率，深度學(xué)習(xí)領(lǐng)域一般會使用多卡高性能GPU工作站，甚至是超算中心來進(jìn)行訓(xùn)練。這些設(shè)備不菲的價(jià)值外還會帶了很高的能耗。
工業(yè)界使用的產(chǎn)品級深度學(xué)習(xí)系統(tǒng)往往會運(yùn)行在高端的數(shù)據(jù)中心，而智能手機(jī)、無人機(jī)可穿戴設(shè)備等卻需要小型的高效處理單元。在現(xiàn)實(shí)世界中部署神經(jīng)網(wǎng)絡(luò)需要平衡效率和能耗以及成本的關(guān)系。訓(xùn)練和實(shí)現(xiàn)深度學(xué)習(xí)解決方案是一件耗時(shí)耗力耗錢的工作！
神經(jīng)網(wǎng)絡(luò)的不可解釋性
對于神經(jīng)網(wǎng)絡(luò)，我們知道了模型的參數(shù)、也知道了輸入的數(shù)據(jù)以及如何將這些連接成網(wǎng)絡(luò)的方式，但是我們卻還無法知道它是如何實(shí)現(xiàn)這一過程的。神經(jīng)網(wǎng)絡(luò)就像一個(gè)神經(jīng)的黑箱，它有十分神奇的功能但是我們對它如何工作如何推演的過程卻無從知曉。
神經(jīng)網(wǎng)絡(luò)的不可解釋性阻礙了這一技術(shù)的抽象和總結(jié)，機(jī)器人維修，限制了高水平認(rèn)知智能的研究和發(fā)展。同時(shí)神經(jīng)網(wǎng)絡(luò)的操作對于人類來說太過抽象，我們無法很好的驗(yàn)證它的工作過程是否合理。
但最近帝國理工的教授MurrayShanahan及其團(tuán)隊(duì)發(fā)表了一篇討論深度符號強(qiáng)化學(xué)習(xí)的論文，正在致力于解決這一問題。
缺乏靈活性和適應(yīng)性
深度學(xué)習(xí)模型一旦訓(xùn)練完成就可以十分精確和高效的處理特定的問題，KUKA機(jī)器人電路板維修，然而目前的神經(jīng)網(wǎng)絡(luò)具有高度分化的專一性，只能在特定的問題上具有良好的表現(xiàn)。
DeepMind的科學(xué)家RaiaHadsell對目前這種狀況進(jìn)行了精辟的總結(jié)：這個(gè)世界上沒有那個(gè)神經(jīng)網(wǎng)絡(luò)可以同時(shí)完成物體識別、音樂識別和玩星際入侵游戲這些任務(wù)！
今天絕大多數(shù)的深度學(xué)習(xí)系統(tǒng)對于一個(gè)特定的問題有令人十分滿意的表現(xiàn)。但只要面臨的任務(wù)稍微改變一點(diǎn)，哪怕是相似的任務(wù)，它也需要重新進(jìn)行訓(xùn)練和評估，更別提不同的任務(wù)了。目前研究人員正致力于創(chuàng)造出一種可以適應(yīng)多種任務(wù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。
目前科學(xué)家們在利用進(jìn)步神經(jīng)網(wǎng)絡(luò)（ProgressiveNeuralNetworks）獲得了些許的進(jìn)展。
同時(shí)在多任務(wù)學(xué)習(xí)（MTL）同也獲得了重大的突破。
來自谷歌大腦和多倫多大學(xué)的研究人員們發(fā)表了一篇關(guān)于多模型的論文，通過綜合視覺、語言和語音神經(jīng)網(wǎng)絡(luò)的優(yōu)勢可以實(shí)現(xiàn)同時(shí)解決多種不同任務(wù)的深度學(xué)習(xí)模型，包括圖像識別、翻譯和語音識別等方面。
結(jié)語
深度學(xué)習(xí)是當(dāng)今人工智能最為火熱的研究領(lǐng)域，但它并不是無所不能的。但我在拓展認(rèn)知科學(xué)的新邊疆時(shí)，勢必會遇到無數(shù)的困難和調(diào)整，這個(gè)過程和所有的技術(shù)進(jìn)步一樣在曲折中不斷進(jìn)步。深度學(xué)習(xí)會是實(shí)現(xiàn)AI的最好方式嗎？只有未來才知道答案，作為AI領(lǐng)域的研究人員，我們一起拭目以待！