AI+游戲引擎：NPC越來越聰明，無人車也能在游戲中訓練了
很多人在玩游戲的時候，都會感覺到游戲中的NPC非常腦殘。但這一情況將會發生改變了。前不久，Unity推出了一個強大的開源軟件UnityMachineLearningAgents，通過這個開源軟件，能夠將其游戲引擎與機器學習程序連接起來。通過深度強化學習算法，非玩家角色（NPC）可以不斷地進行嘗試和犯錯，變得更有創造性和策略性，庫卡機器人驅動器維修，從而增加游戲的對抗性和可玩性。也就是說，游戲中的NPC將會變得越來越聰明。更加值得關注的是，這個開源軟件的適用范圍并不僅限于游戲中的虛擬人物，還可以用來訓練那些用于真實世界的機器人。
這些年，視頻游戲開發者已經在使用人工智能來優化玩家能夠操縱的游戲角色了。但玩家不能操縱的角色，游戲中的NPC，都是基于人類編寫的規則，在游戲體驗上并不完美，玩家很容易就能掌握了其中的規律，從而會感覺到游戲非常無聊。
不過，這一切都將會發生改變。利用人工智能技術，游戲中的NPC將會根據游戲中遇到的情況，機器人維修，對自己的游戲規則進行編程和重新編程。也就是說，他們在游戲中的時間越長，就會越聰明。
前不久，Unity推出了一個強大的開源軟件UnityMachineLearningAgents，通過這個開源軟件，能夠將其游戲引擎與機器學習程序（比如谷歌的TensorFlow）連接起來。Unity是游戲引擎軟件的主要制造商，王者榮耀、紀念碑谷、神廟逃亡2、PokémonGO都用的是它提供的游戲引擎。
Unity負責人工智能和機器學習的副總裁DannyLange表示，通過深度強化學習算法，非玩家角色（NPC）可以不斷地進行嘗試和犯錯，變得更有創造性和策略性，從而增加游戲的對抗性和可玩性。
不過，Unity的新AI-linking工具的使用場景并不局限于游戲中的虛擬角色。Lange說，這種軟件還可以加速機器人的發展，比如自動駕駛汽車，可以讓它們在雜亂無章的、計算機生成的的場景中不間斷的訓練，使其變得更加智能。
Unity利用機器學習技術，通過從多個角度評估場景鳥-眼（左）和第一人稱視角（右）在這個尚未發布的坦克戰斗游戲中設計出了一個策略。
Unity也坦然表示，他們并沒有發明這些技術，只是讓這些技術變得更容易使用。比如說，谷歌旗下的DeepMind利用深度強化學習技術，教AI玩兒上世紀80年代的電子游戲，比如Breakout。
在游戲式的環境中，訓練自動駕駛系統也有很多的例子。比如說，MSCSoftware的虛擬測試驅動器應用程序提供汽車培訓模擬。像TheOpenRacingCarSimulator和EuroTruckSimulator2這樣的游戲也被用于自動駕駛汽車的虛擬訓練。而Nvidia的NewLsaacLab則使用競爭對手EpicGames的虛擬引擎來生成逼真的虛擬環境，用于訓練那些控制真實機器人的算法。
Lange表示，現在可以在GitHub上使用測試版的新ML-Agents工具，可以讓游戲引擎和AI軟件之間的鏈接不再動輒就要消耗數天甚至數周的時間。他說：我們想做的是在一小時內達到這一目標。很顯然，這會讓更多的人更容易嘗試開發出更好的游戲角色，或者把訓練機器人這一枯燥的事情變得更容易。
智能游戲
今年早些時候，Unity展示了深度強化學習的潛力，它在一個基于Unity的移動游戲CrossyRoad上做了實驗。在游戲中，一只雞必須穿過一條無窮無盡的道路，www.twshmhelmet.com，每次它撞到一個禮盒，就能獲得一分，但每次它撞上一輛卡車，就會失去一分。在讓分數最大化的任務的下，就開始了學習的過程。
起初，這只雞像一只喝醉了的蛾子一樣四處亂飛，前后移動，不斷與禮物和卡車相撞。
經過幾個小時的反復試驗，再加上機器學習識別出最佳戰術，這只鳥以神一般的力量在游戲中穿行。
更復雜的NPC可以訓練在更微妙的目標上，比如在第一人稱射擊游戲中最大化玩家的游戲時間。
Lange說：它可能會發展出一些策略，以令人驚訝的方式展示自己。比如說，它會引誘你去追逐它，但你不會抓住它，它也不會馬上殺死你。通過這樣的方式來提高你在游戲中的時間。很顯然，這為更有創造性的行為打開了一扇門，這是你可能想象不到的；或者說，以傳統的代碼水平而言，讓NPC執行這樣的策略會非常非常費力。
不過，也不要別指望這種能夠自學成才的虛擬對手很快就會出現。對于學者和科技公司的研究團隊來說，建立具有深度強化學習的NPC仍然是一項科學實驗。但如果Unity的ML-Agents能讓數百萬注冊開發者（即使是沒有很多資金的用戶）更方便地進行試驗，那么這個過程可能會加快。
智能機器人
像Unity和Unreal這樣的視頻游戲引擎現在可以非常精確地模擬現實世界。從光與景觀的相互作用，到橡膠輪胎與水泥路之間的摩擦，游戲提供的虛擬環境已經非常精確了，可以用來訓練那些用于真實世界的機器人。
通過一種叫做過程渲染（proceduralrendering）的方法，游戲引擎可以動態地合成一條幾乎無限里程而且非常逼真的道路。通過機器學習軟件可以從分析游戲中反饋的視頻，并學習如何準確地解釋它所看到的內容。
Lange說：這與你在舊金山開車行駛在道路上很像。他在2016年12月加入Unity之前，是Uber的機器學習主管。但Uber的員工，他們需要做的就是回家，然后找外包公司來給這些視頻數據貼上標簽。他們必須對每棵樹、汽車、行人、人行道、車道分隔器等物體進行標記，只有這樣，學習軟件才能知道它看到了什么，并開發出識別它們的技術。在虛擬場景的訓練中，因為像Unity或Unreal這樣的軟件是根據現實世界生成的非常逼真的場景，其中的每一個物體都已經貼上了標簽。
自動駕駛汽車目前是一項巨大的技術項目，甚至連主要汽車制造商和硅谷的公司都在往其中投入大量的資源。但隨著Unity等產品的推出，小型游戲開發者更容易上手，Unity的ML-Agents也可以為更多的小型機器人和機器人開發者提供支持。