一文帶你讀懂DeepMind新論文，關(guān)聯(lián)推理為什么是智能最重要的特征
每一次DeepMind發(fā)布一篇新論文，工業(yè)機(jī)器人維修，媒體都會(huì)瘋狂地報(bào)道。其中不乏許多讓人迷惑的術(shù)語(yǔ)。比如就有未來(lái)主義者這樣報(bào)道：
DeepMind開(kāi)發(fā)了一個(gè)可以感知周圍事物的神經(jīng)網(wǎng)絡(luò)。
這不僅僅誤導(dǎo)人，還嚇跑了那些沒(méi)有接受過(guò)博士階段的學(xué)習(xí)的人。所以在這篇文章里，我打算用盡量簡(jiǎn)單的語(yǔ)言來(lái)解釋這個(gè)新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，這篇文章也要求一些神經(jīng)網(wǎng)絡(luò)方面的基礎(chǔ)知識(shí)。
什么是關(guān)聯(lián)推理？
簡(jiǎn)單來(lái)說(shuō)，關(guān)聯(lián)推理是去學(xué)習(xí)不同物體（想法）之間的聯(lián)系，這被認(rèn)為是智能最為重要的特征。論文作者用了一個(gè)圖形示例來(lái)解釋：
從關(guān)聯(lián)問(wèn)題的角度來(lái)看，上圖的模型需要檢查不同形狀、尺寸、顏色的物體，還能夠回答和多個(gè)物體相關(guān)的問(wèn)題。
關(guān)聯(lián)網(wǎng)絡(luò)
作者提出了能夠抓住物體內(nèi)在聯(lián)系的神經(jīng)網(wǎng)絡(luò)（正如卷積神經(jīng)網(wǎng)絡(luò)能夠提取圖像的性質(zhì)）。他們提出了由下式定義的架構(gòu)：
公式解釋：
神經(jīng)網(wǎng)絡(luò)和函數(shù)
當(dāng)我們?cè)趯W(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，做反向傳播之時(shí)很容易忘了，一個(gè)神經(jīng)網(wǎng)絡(luò)實(shí)際上只是一個(gè)簡(jiǎn)單的數(shù)學(xué)函數(shù)！因此，方程（1）所描述的函數(shù)是一個(gè)神經(jīng)網(wǎng)絡(luò)！更準(zhǔn)確的說(shuō)，機(jī)器人維修，其中有兩個(gè)神經(jīng)網(wǎng)絡(luò)：
關(guān)聯(lián)網(wǎng)絡(luò)是靈活的
作者以一個(gè)模塊的形式提出了關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)。它可以接收被編碼了的物體并學(xué)習(xí)其中的關(guān)系。但更重要的是，關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)可以被嵌入于卷積神經(jīng)網(wǎng)絡(luò)（CNN），和以長(zhǎng)短時(shí)記憶單元[Z1]（LSTM）為基礎(chǔ)的遞歸神經(jīng)網(wǎng)絡(luò)中。
卷積神經(jīng)網(wǎng)絡(luò)可以被用于從圖像中學(xué)習(xí)物體，這使其更易于被應(yīng)用。因?yàn)槟茉趫D像中進(jìn)行推理比在用戶指定的物體中進(jìn)行推理明顯更有用。
伴隨著詞嵌入，長(zhǎng)短時(shí)記憶單元（LSTM）可以被用于理解模型被問(wèn)及的問(wèn)題的含義。這是很有用的一個(gè)變革，因?yàn)槟Ｐ同F(xiàn)在可以接收英文句子而不是預(yù)先定義好的物體。
作者提出了結(jié)合關(guān)聯(lián)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶單元來(lái)構(gòu)建一個(gè)端到端的、能學(xué)習(xí)物體之間關(guān)聯(lián)的神經(jīng)網(wǎng)絡(luò)。
上圖解釋：
圖像經(jīng)過(guò)一個(gè)標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)（CNN），從中提取出圖像的特征。關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)的輸入對(duì)象是網(wǎng)格中每一個(gè)點(diǎn)的特征向量。比如說(shuō)其中一個(gè)對(duì)象是黃色的向量。
問(wèn)題被傳入長(zhǎng)短時(shí)記憶單元（LSTM）中，www.twshmhelmet.com，產(chǎn)出了一個(gè)關(guān)于問(wèn)題的特征向量。也就是這個(gè)問(wèn)題的點(diǎn)。
同時(shí)對(duì)方程（1）進(jìn)行了一些修改，加入另一項(xiàng)使其變成：
在上面的公式中，注意到比起方程1多了一個(gè)q項(xiàng)。這個(gè)q是長(zhǎng)短時(shí)記憶單元的最終狀態(tài)。現(xiàn)在關(guān)聯(lián)性是條件于q的。
在此之后，神經(jīng)網(wǎng)絡(luò)輸出的對(duì)象和長(zhǎng)短時(shí)記憶單元輸出的特征向量被用于訓(xùn)練關(guān)聯(lián)網(wǎng)絡(luò)。
基準(zhǔn)
作者在幾個(gè)數(shù)據(jù)集中展示了該模型的效果。這里我們討論其中一個(gè)數(shù)據(jù)集（在我看來(lái)最顯著的一個(gè)）CLEVR數(shù)據(jù)集。
作者指出他們的模型比其他方法在精確度上高很多。這是因?yàn)殛P(guān)聯(lián)網(wǎng)絡(luò)就是為學(xué)習(xí)關(guān)聯(lián)性而設(shè)計(jì)的。
相對(duì)于注意力堆模型僅僅75%的準(zhǔn)確率，他們的模型達(dá)到了96%+的準(zhǔn)確率。
結(jié)論
關(guān)聯(lián)網(wǎng)絡(luò)十分擅長(zhǎng)高效地學(xué)習(xí)關(guān)聯(lián)性。同時(shí)靈活，可以結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶來(lái)一起解決問(wèn)題。
這篇博文意在破除由于大量論文發(fā)表導(dǎo)致人工智能已經(jīng)接管了一切的假象，并介紹當(dāng)下最先進(jìn)的算法是什么樣的。