很多時候，做夢使我們快樂。在睡眠狀態(tài)中，繁雜的視覺和聽覺片段混雜在一起，構(gòu)成荒誕又情節(jié)豐富的夢境。零散的真實回憶穿插在逼真的虛構(gòu)場景中，有些出場人物我們原本就認識，有些是憑空想象。
我們有時沉浸于夢境的美妙，有時又不得不在夢里直面內(nèi)心深層的恐懼。然而，睡眠和夢境并不僅僅是為了豐富我們的夜間生活而存在的。
我們睡覺的時候，大腦正在忙于過濾清醒時收集到的信息。神經(jīng)活動開始進入工作狀態(tài)——丟棄無關(guān)信息，加固重要信息，建立和存儲記憶。
這套高效的工作機制普遍存在于哺乳動物之中，近期一個來自意大利的研究團隊對它進行了數(shù)學(xué)建模，并應(yīng)用在了人工智能領(lǐng)域。
他們創(chuàng)造出了一套可以強制命令人工網(wǎng)絡(luò)進入離線睡眠狀態(tài)的算法。在睡眠狀態(tài)的時候，人工網(wǎng)絡(luò)可以加固重要記憶，抹除無關(guān)信息，從而拓展信息存儲容量。
Adriano Barra 是意大利薩蘭托大學(xué)的一名理論物理學(xué)家。我們在交談的時候，他始終言詞懇切、興致盎然，不停地擺弄著一盒萬寶路香煙，拿它作為一個臨時道具跟我說明 A.I。(artificial intelligence，人工智能)的細節(jié)問題。
Elena Agliari 和 Alberto Fachechi 是 Barra 的同事，他們?nèi)齻�人一起研究了很多復(fù)雜的生理系統(tǒng)，并將它們的神經(jīng)生物學(xué)過程轉(zhuǎn)換為數(shù)學(xué)模型，例如大腦。
“跟工程師相比，我們搞理論物理學(xué)的有一個很微弱的優(yōu)勢，” Barra 說，“數(shù)學(xué)是放之四海而皆準的，使用它也不怎么花錢，所以我們可以把我們的研究結(jié)果直接應(yīng)用在人工智能領(lǐng)域。我們可以起到在神經(jīng)生物學(xué)和工程學(xué)之間搭建橋梁的作用。”
人工神經(jīng)網(wǎng)絡(luò)的經(jīng)典模型是 Hopfield 模型，由 JohnHopfield 于 1982 年提出，KUKA機器人電路板維修，它描述了人工網(wǎng)絡(luò)如何通過模仿真實的大腦機制(如模式識別)來學(xué)習(xí)和檢索信息。
Hopfield 模型運用了一個十分出名的學(xué)習(xí)法則，叫做赫布型學(xué)習(xí)(Hebbian Learning)。赫布型學(xué)習(xí)解釋了神經(jīng)元之間的突觸強度在學(xué)習(xí)過程中是如何增加的。
然而這個模型是有缺憾的。Hopfield 模型是二十多年前提出來的老模型了，并且它只能儲存有限量的數(shù)據(jù)。用數(shù)學(xué)來表示的話，這個對稱網(wǎng)絡(luò)的最大存儲容量僅為 α～0.14。但是理論上，容量最大可以達到1，或者 α=1。
一個神經(jīng)網(wǎng)絡(luò)的存儲容量是由它包含的神經(jīng)元數(shù)量 (n) 來決定的。每一比特的信息(比方說一個數(shù)碼像素)，都是一個單獨的信息圖式 (p)。Barra 指出，“這里最多能存儲的信息圖式的數(shù)量，也就是 p，等于0.14倍的 n ”。
那么，為什么實際能存儲的信息量比理論值少了那么多？為什么系數(shù)是0.14而不是1呢？
神經(jīng)網(wǎng)絡(luò)在喚醒(在線)狀態(tài)時，工業(yè)機器人維修，始終不停地在接收新的信息圖式。然而除了有用的圖式之外，無關(guān)的、甚至錯誤的圖式也會一并被收集起來。
“你原本是想讓神經(jīng)網(wǎng)絡(luò)去存儲一些重要的信息，但是它會把錯的也給你存起來，”Barra說，“這沒辦法避免。這都是自發(fā)生成的。”
Barra 拿起了萬寶路，又拿了一包駱駝牌香煙來類比，“如果你不停地存儲關(guān)于這兩包香煙的細節(jié)信息，比如說駱駝牌是藍色的，萬寶路是紅色的，與此同時，你實際上也在接收所有的冗雜無關(guān)信息，最終你的神經(jīng)網(wǎng)絡(luò)就會卡死。”因為充斥著大量的無關(guān)和錯誤信息，所以實際最大容量只能達到0.14這個水平。
雖然有限的存儲容量并不會干擾 A.I。 處理一些具體任務(wù)，但是寶貴的空間就這樣被無效數(shù)據(jù)霸占著，既浪費又低效。
為了解決這個問題，這個來自意大利的研究團隊提出了一種算法，它可以強制命令神經(jīng)網(wǎng)絡(luò)像哺乳動物一樣進入睡眠(離線)狀態(tài)，并且在睡眠中穩(wěn)固重要信息，清除無關(guān)信息。
“這跟睡眠是息息相關(guān)的，”Barra說，“因為如果你不設(shè)法解決掉這些無效的內(nèi)容，它們越來越多，神經(jīng)網(wǎng)絡(luò)最終會失去分辨萬寶路和駱駝香煙的能力。”
哺乳類動物的大腦也在時刻不停地收集信息，但就像只知道一股腦拋網(wǎng)的漁船一樣，有用的和沒用的都會被撈上來。哺乳動物的大腦里也塞滿了無關(guān)緊要的東西。
“醒著的時候，你會被動地接收很多信息，實際上你根本不需要，你也不想把它們記在腦子里，”Barra解釋說，“我們同樣會加工出無效和錯誤的信息圖式。我們解決這個問題的方法，就是睡覺。”
做夢一般發(fā)生在快速眼動睡眠階段(Rapid Eye Movement， REM)，在這個階段我們的大腦正忙于抹除無關(guān)的記憶，為存儲新信息騰地方。在慢波睡眠階段(Slow-wave， SW)，重要記憶會被鞏固強化。
雖然大多數(shù)時候做夢都是發(fā)生在 REM 階段，但是在慢波睡眠階段我們也可能會做夢，只是這些夢往往很模糊，也更難回想起來。
研究團隊已經(jīng)知道哺乳動物的大腦會高效地在睡眠期間清除緩存，釋放空間。他們對這一事實的分析，是算法誕生的起點。
“我們當時商量說，好，那就過一遍所有對這個現(xiàn)象進行解釋的神經(jīng)生物學(xué)的文章，然后試試把它用數(shù)學(xué)模型表達出來吧，”Barra 介紹說，“隨后我們開始想，如果把這個數(shù)學(xué)結(jié)構(gòu)應(yīng)用在 Hopfied 模型上會怎么樣？”
他們的成果發(fā)表在了4月份的《神經(jīng)網(wǎng)絡(luò)》NeutralNetworks 雜志上。根據(jù)這個新的算法框架，人工神經(jīng)網(wǎng)絡(luò)在標準在線(喚醒)模式時，會持續(xù)學(xué)習(xí)和存儲信息圖式(即記憶)；但當存儲容量到達0.14的水平時，神經(jīng)網(wǎng)絡(luò)會強制進入離線(睡眠)模式。
在睡眠模式中，無關(guān)信息會被刪除，重要信息會被進一步穩(wěn)固，或者用更專業(yè)的話來說，就是“偽圖式移除(spurious-pattern removal)和真圖式強化(pure-pattern reinforcement)。”
研究團隊發(fā)現(xiàn)通過實施離線模式，存儲空間得到了釋放，并且系數(shù)可以達到理論值1。
進化促使哺乳動物的大腦自行發(fā)展出了一套賴以生存的標準，并以這個標準為依據(jù)來決定什么樣的信息要加強，什么樣的要被剔除。但是人工神經(jīng)網(wǎng)絡(luò)需要人類來規(guī)定這個標準。
“它們(神經(jīng)網(wǎng)絡(luò))離不開人的授意，所以我們必須得告訴它‘這個很重要，你要留意；那個是不重要的’，”Barra說，“它們沒有‘重要’這個概念。”
此外，還有一些技術(shù)上的差異。舉個例子，對于人類的大腦來說，清除信息和加固信息分別發(fā)生在兩個獨立的睡眠階段(REM和SW)；然而神經(jīng)網(wǎng)絡(luò)是在睡眠狀態(tài)同時進行這兩項任務(wù)的。
也許人類睡眠和機器睡眠最重要的區(qū)別，是在于我們有絕對的自主權(quán)決定要不要睡覺或打個瞌睡。人工神經(jīng)網(wǎng)絡(luò)睡不睡覺則完全聽命于數(shù)學(xué)算法；當然了，它們也不用蓋溫暖的小被子。