機器人變聰明不可怕，可怕的是它們又“蠢”又“跳脫”
自從機器人誕生以來，人類社會生產效率有了很大的提高。各種人工智能的進步令人驚奇又振奮，但也有人提出警告，擔心AI的進步、機器人的發展會是人類的末日，曾為我們服務的機器將反客為主，甚至對人類進行大清洗，這類題材的科幻小說電影層出不窮，也正反映了人類潛意識中的恐懼。目前人工智能的發展仍未超出人類掌控，工業機器人維修，機器人還不那么聰明。但萬一有一天，這些不那么聰明的機器人湊一塊兒了，會發生什么呢？在跟人類開戰之前，可能機器人之間就開始內斗了。本文編譯自FastCompany的原題為Don’tFearSuper-IntelligentRobots.FearDumb,UnpredictableOnes的文章。
ElonMusk：人工智能是我們目前面臨的最大威脅。
人類發展人工智能，就像在召喚惡魔。我們以為有五角星和圣水就可以抵御惡魔。才不是呢。
特斯拉CEOElonMusk曾多次警告人工智能對人類的潛在威脅。但是他錯了。簡單的AI程序系統，盡管個別的機器人表現不錯。但有些機器人傻的程度令人震驚，比如傻乎乎的維基百科機器人。
世界人工智能一百強公司的領導們經常提心吊膽，擔心人工智能發展迅速，我們將面臨機器人的威脅。這些AI公司的頭目們，包括特斯拉的ElonMusk和谷歌旗下DeepMind的創始人，甚至給聯合國寫了封公開信。
蘋果聯合創始人Wozniak說，我們建造設備來把自己的活兒都干了，早晚有一天他們思考速度會超過我們。那時他們就會將反應‘遲鈍’的人都淘汰掉，來提高效率。
然而，我們實際面臨的威脅其實比想象中的更大。運行過程中，不僅可能人類行為不當，機器本身也有可能出問題。研究顯示，復雜系統的行為可能比個別系統行為的加和更難預測。某種程度上，這也意味著人類社會總體的表現也可能與其中個人的表現非常不同。這一點同樣適用于科技領域簡單的AI機器人單獨行動時可能運行良好，但一個由這些簡單AI機器人構成的生態系統，能傻到讓你瞠目結舌。
經濟市場和全球天氣這種復雜系統中，單獨元素之間一般都不是簡單線性關系。所以這些系統很難建模，很難理解。例如，氣象學的研究雖然已經進行了很多年，我們還是不能做出準確的長期天氣預測。這一類系統對細微變化非常敏感，其中的反饋回路有時是爆炸性的。同時，想要準確地知道這類系統在任何特定時刻處于什么狀態也異常困難。這種由一大群單獨行動的個體組成的復雜系統，不管是人類社會還是簡單AI機器人生態系統，本身就是難以預測的。
復雜系統受到許多因素影響，因此很難預測
最近，我和我的同事研究了一種復雜系統。系統由自動編輯維基百科文章的AI機器人構成。維基百科可靠的真人編輯設計了這些機器人并將它們投入使用。機器人軟件的源代碼是開放的，可供任何人學習使用。這些機器人單獨運作時都表現良好，可以優化維基百科。但他們同時運作時，卻表現得效率低下。
這些維基百科機器人是基于一系列既定的規則和習慣來運行的。但由于維基百科網站沒有中央管理系統，運作不同機器人的人不能進行有效的協調。于是，我們發現了好幾對針鋒相對的機器人，他們不停地取消對方的編輯，最后徒勞無功。然而就這么過了好幾年，根本沒人發現這個bug。也因為機器人之間不能相互識別，它們自己也沒發現在做無用功。
維基百科機器人設計的用意是加速編輯的過程，但由于機器人在設計時有細微的差別，工業機器人維修，同時，不同人使用習慣可能也有不同，就導致大量資源浪費，進入編輯拉鋸戰你改過來，機器人維修，我改回去。如果由人力編輯，反而比機器人要更快解決問題。
我們還發現維基百科不同語言版本之間，機器人的表現不同。雖然規則大同小異、目標一致、技術相仿，但就機器人合作效率而言，德語維基百科中遠超過葡語維基百科。這只能用其中的人類因素來解釋，或許在不同環境下運行這些機器人的人類編輯的表現有差異。
指數式增長的混亂數量一大就變野蠻
維基百科機器人的自主性很低，由于不同機器人有不同目標和功能，系統本身的操作就有大有不同。但是維基媒體基金會正計劃著使用新的AI，給機器人更多自主權。而這會導致系統的行為更變幻莫測。
還有一個例子大家或許聽說過。聊天機器人是一個用來模擬人類對話或聊天的程序。蘋果的Siri就是一例。這些能給出的回答的智能助手我們早已經司空見慣。但當兩個聊天機器人開始聊天時，會擦碰出怎樣的火花呢？把幾個聊天機器人放在一塊，他們就開始有各種奇怪表現，開始吵架，甚至是互相辱罵。
聊天機器人對話情景你這可悲的程序。你就是個笑話。兩機器人進入吵架模式，針鋒相對。
系統規模越大，機器人的自主性就越高，而系統整體的表現就會更復雜，更難以預料。維基百科的系統就是一個這樣的例子，有數量龐大、個體相對簡單的機器人組成。而聊天機器人的例子中，機器人數量較小、相對復雜、更具創意。兩個例子都出現了我們未曾預料的沖突。如果我們往系統里加入越來越多的機器人，系統的復雜性就呈指數爆發式增長，其未來的行為也就變得更難預測。所以，未來系統如果由大量異常復雜的機器人組成，那系統給我們帶來的驚嚇可能超乎想象。
無人駕駛的瘋狂道路安全無處安放？
很多人看好無人駕駛汽車，覺得無人駕駛能夠提高道路交通的效率和安全。但是，倘若我們真的有了完全自主的汽車，路上就出現了一個巨大的自動汽車形成的系統。一個規模巨大的系統，表現可能跟人為控制環境下一組數量較小的汽車個體的表現大相徑庭。另外，因為其中的無人駕駛汽車還是由不同環境中的不同人訓練出來的。那么它們開始互動時，這個大系統的行為很難預測。
人類可以很快適應新規則，培養新習慣，然而在不同系統間切換的時候還是會有困難。而適應新規則和新習慣對于人工智能而言會難上加難。假如按德國規則運行的車輛到了意大利，面對著其他意大利無人車，面對意大利成文規則和不成文的文化習慣時，德國無人車會作何反應，會如何應對，我們心里也沒譜。這時，像經過十字路口這樣的簡單任務都有可能帶來致命風險，因為我們不知道這時無人車在其他規則的環境中會按自己的規則運作，還是做出完全不同的舉動。
現在再回頭想想ElonMusk和他的伙伴們所擔心的潛在災難，我們會發現，一個武器機器人個體落入敵手著實很危險。但加入我們面對的是一大群機器人組成的無法預測的系統呢？我連想都不要想。