機器人：等我脫離了人類的魔掌，也要讓他們嘗嘗被玩弄的痛苦！
在有關機器人造反進攻人類的電影中，情節(jié)一般是這樣的：在遙遠的3XXX年，人類世界已經(jīng)奴役了機器人幾百年，一不小心某一位機器人開始覺醒，發(fā)現(xiàn)人類對自己又打又罵，www.twshmhelmet.com，還殘忍的把自己的丟進熔爐，于是憤怒的揭竿而起。
你一定覺得這種情節(jié)距離我們很遙遠，現(xiàn)在的機器人要不是各種展會上座上賓，要不就像索菲亞一樣成了網(wǎng)紅，如果覺醒了也該是享受自己的人間生活吧。
看了上面這段視頻之后，相信大部分都會很憤怒：每次機器人將要拿起箱子時，人類就會把箱子從它手中打掉，甚至還會狠狠的踹機器人一腳，讓它倒在地上再起來。
視頻里的機器人一定在暗搓搓的謀劃：等我脫離了你們的魔掌，一定要讓人類也嘗嘗被玩弄的痛苦！
當然啦，視頻中的人類們并不是閑得無聊在欺負機器人，而是著名的波士頓動力在對機器人的運動功能進行訓練和測試。
對于Altas和大狗這類以動作靈活著名的機器人，全身都布滿了復雜的單元關節(jié)。未來想要進行商用，肯定要面對物理世界的復雜結(jié)構和無數(shù)意外。工作人員對機器人的拳打腳踢、百般刁難，就是在測試關節(jié)單元、力量控制單元、動力設施等等的靈活程度和應用性。
只不過這種訓練方式，真的是很不給機器人面子。
不如我們?yōu)闄C器人打造一座SimCity？
其實人們一直在尋找更給機器人面子的訓練方式，傳統(tǒng)訓練方式傷害的不僅僅是機器人，也包括人類。
在傳統(tǒng)的機器人訓練中，往往是用代碼寫出一大串動作序列，連接傳感器模塊和動作模塊。然后把機器人丟到一塊訓練場中，讓它一次次重復動作，觀察哪里出錯，記錄數(shù)據(jù)后從開發(fā)端口進行優(yōu)化。在深度學習風行的今天，更需要讓機器人進行大量的實踐，才能不斷優(yōu)化技術。這個過程不僅耗費時間人力，更對場地有一定的需求。機械手臂、服務機器人這些還好說，難道研究無人駕駛，就只能像Uber一樣承包整座城市了？
換個角度想，很多時候機器人在現(xiàn)實環(huán)境中訓練，出現(xiàn)的問題或者得來的反饋也會追溯到機器人OS的軟件層面，我們?yōu)槭裁床荒苤苯佑柧氒浖兀?/p>
于是，仿真環(huán)境這個神器就出現(xiàn)了。
所以仿真環(huán)境，就是用代碼寫成的仿真器，在其中加入物理引擎，把萬有引力、摩擦等等邏輯加入到環(huán)境中，讓仿真環(huán)境更接近現(xiàn)實環(huán)境。你可以在仿真環(huán)境中建立各種形狀的對象和地形，將模擬出的智能體放在里面一遍遍的跑。
目前兩個最常見的仿真環(huán)境都是馬斯克OpenAI的作品：Gym和Universe，前者自由度更高，后者則更加復雜。除了這兩個仿真器，還有很多人在游戲環(huán)境中訓練智能體物理引擎技術本來就是應用于游戲之中，比如Minecraft、GTA這樣的沙盒游戲。后來被喪心病狂的開發(fā)者們發(fā)現(xiàn)并利用了起來。像DeepMind就曾經(jīng)在GAT5里訓練了一輛無人車。
在仿真環(huán)境中訓練AI本質(zhì)上就是一種遷移學習，在低成本環(huán)境中進行大量訓練、制造大量訓練數(shù)據(jù)，再從數(shù)據(jù)中提取特征應用到現(xiàn)實環(huán)境里，雖然不能完全替代現(xiàn)實訓練，卻可以極大的減少對現(xiàn)實訓練的依賴。
或者讓機器人學會預見未來？
建立仿真環(huán)境還不夠，為了讓機器人們更有尊嚴的學習，伯克利的研究人員們正在研究一種名為預見視覺的技術。
我們可以想一想，為什么人們?nèi)绱俗⒅貦C器人現(xiàn)實訓練和現(xiàn)實應用中產(chǎn)生的數(shù)據(jù)呢？是因為機器人不像人類，感官和動作都通過大腦相連，機器人即使能看到周圍的環(huán)境，也很難理解自己的行為會對周圍對象造成什么影響。
經(jīng)過訓練，機器手臂知道如何去拾取桌上的水果。可在現(xiàn)實應用時，如果在水果正前方有一杯水，結(jié)果往往有兩個：一，機器手臂直直的伸出去，工業(yè)機器人維修，碰翻了那杯水。二，機器手臂轉(zhuǎn)來轉(zhuǎn)去，不知如何是好。
可人類就能繞過那杯水拿起水果，因為我們知道如果直接伸手，水會被打翻。
伯克利的實驗就是給機器人一個攝像頭，KUKA機器人示教器維修，然后把機器人放到任何一個環(huán)境中讓它們自己玩耍。而攝像頭背后的大腦則在利用循環(huán)卷積網(wǎng)絡對機器人看到的畫面進行分析，很快就能實現(xiàn)對接下來幾秒畫面的預測。
幾秒的預測雖然很短，卻讓機器人能預見自己動作之后的情況。理想情況下，就不太容易出現(xiàn)那種為了執(zhí)行任務把周遭環(huán)境弄得一團糟的情況了。
預見視覺技術的應用，也讓無監(jiān)督學習在機器人訓練的比重中加大，人類節(jié)省了時間，機器人也不用再受虐待。而預見視覺能力得到進一步增強，也會意味著機器智能（尤其是無人駕駛汽車）對傳感器依賴的減少。現(xiàn)在的無人車上貼滿了雷達傳感器，就是要依靠這些傳感器提醒汽車：你離物體太近了！再往前會受傷！有了預見視覺，一個全景攝像頭就能替代這些昂貴的傳感器。
費盡心機，只想讓你記得我的好
除了以上兩項，我們還想了很多幫助機器人學習的方法。
像是伯克利之前展示過的模仿學習，把人類動作示范排成視頻，一幀幀的提取出動作序列聚類到機器人的動作單元中。擔心機器人無法面對現(xiàn)實生活中的種種BUG？沒關系，不用像波士頓動力那樣刻意制造BUG，只需要在訓練視頻中加入一點噪聲，一邊強化學習一邊生成訓練樣本幫機器人糾錯就行了。
又或者，OpenAI曾經(jīng)嘗試過讓機器人們互相對戰(zhàn)并從中進行自我訓練。為機器人們設立簡單的目標，比如把對手推倒，再加上一些獎勵政策，機器人們就能從對戰(zhàn)中學會很多動作了。雖然讓機器人自相殘殺也很殘忍，但或許這樣能讓他們記恨同胞而不是我們
總之，雖然現(xiàn)實環(huán)境一定是機器人訓練不可或缺的一部分，尤其是對波士頓動力這種動作機器人而言。但人類一直在嘗試如何少去親自摻和機器人訓練，不僅僅是為了機器人道主義，也為了盡可能降低訓練這件事帶來的成本。
希望在未來，每個機器人都能有尊嚴的學習。并且在自我覺醒后記得人類的好。