騰訊自動駕駛總經理蘇奎峰：實時孿生與智能決策
機器之心報道
機器之心編輯部
5 月 24 日，在機器之心舉辦的「決策智能產業應用」在線圓桌論壇上，騰訊交通平台部總經理、騰訊自動駕駛總經理蘇奎峰發表了主題演講《實時孿生與智能決策》。
機器之心對蘇奎峰的演講內容進行了不改變原意的整理。
今天和大家分享的題目是《實時孿生與智能決策》。本次分享內容主要分三個部分：
- 第一部分為實時孿生整體架構。什麼叫實時孿生，我們如何理解實時孿生和數字孿生，這兩者有哪些本質上的區別，在下面的分享中，我都會進行簡單解釋。
- 第二部分為數據驅動自動駕駛。我的背景主要是做自動駕駛領域的研究，模型驅動和數據驅動是兩個很重要的方向，本部分我會分享基於數據驅動自動駕駛的研究工作。
- 第三部分為基於實時孿生的智能決策。
實時孿生平台
第一部分為實時孿生平台。
實際上，實時孿生和傳統數字孿生相比，更多的是強調實時性以及與現實真正的互動性。所以我們主要還是以模擬模擬、AI、雲計算為主，把物理世界和現實世界更好的關聯起來，構建數字空間，對數字空間進行精準描述。
數字空間不僅僅代表我們所生活的物理三維世界，它也包含設備、設施，甚至工廠等。有了精準的描述以後，我們就可以對物理空間進行診斷、預測，最終形成智能決策，然後反過來基於這樣的智能決策，尤其是在數字空間里智能決策的一些建議或者方法，能夠更好的反饋到物理世界、影響物理世界，而且它是動態的、實時的。
實時孿生平台包括 4 個部分。第一個就是數字化，首先我們要把靜態的物理世界或者動態的物理世界進行數字化，使得物理世界和數字世界更好地映射和關聯。在映射和關聯過程中，我們需要利用 5G 等網路，進行低延時、高帶寬的互動傳輸。有了信息互動和傳輸，在進行智能決策時，更多的是基於模擬模擬來進行，模擬模擬不僅是基於傳統的模型的模擬，更多的還需要有現實數據，尤其是實時數據的模擬，所以我們稱它為實時孿生，從而形成一個精準的決策，最後到閉環，形成一個數據閉環或者虛實融合的閉環體系，這也是我們理解的實時孿生。
當然實時孿生或者數字孿生，甚至當下經常提到的元宇宙、web3.0 等，這些概念或者方法都在不斷地演進和升級，它們本質上的意義或者應用價值也不斷在升級。
實時孿生實際上是一個虛實融合的閉環系統。從物理世界感測器獲得數據，之後基於機理模型或者數據驅動模型可以進行智能分析、模擬預測、應用服務，形成一些智能決策。
這涉及幾個問題，第一個是在數據驅動模型或機理模型方面，它具有動態更新能力和自主學習能力，基於強化學習的模型和過去方法區別很大。另外一個特點就是所有這些都是以數據為基礎的，這是我們在數字化、甚至是企業進行數字化轉型很核心的內容之一。
數字化轉型本質上是業務數字化轉型，與過去企業信息化完全不一樣。數字化轉型是通過業務的本身數字化，使其能夠更高效地做一些決策，這依賴於核心業務模型，最終還需要提供更好的產品或者服務，這樣一個閉環流程具備不斷迭代和升級能力，這也是和過去發展有本質性區別的。
過去，一個系統從它誕生開始，可能就是一個最好、最優的狀態。隨著生命周期的延續、時間的增長，這種系統性能逐步在下降。而現在我們很多智能系統，基於數據驅動閉環或者實時孿生閉環，當首次給用戶提供服務時，也許它是一個性能特性最低的點，比如自動駕駛汽車，隨著用戶的使用和數據的增長，以及個人用戶習慣的融入，它的性能、用戶體驗在不斷升級和提升，所以閉環體系在我們未來發展當中是非常重要的，閉環需要將虛實融合在一起。
整個閉環體系無論是在哪個行業，實際上都可以歸納為 5 個層面。首先是數據獲取，數據獲取有多種維度，這些數據有動態的，也有靜態的。基於這些數據，在雲平台上進行實時處理、融合等，最終進行數字孿生或者 AI 模擬模擬。在應用系統中，我們可以提供給更多的用戶進行開發和應用，可體現在大屏幕駕駛艙或者智能多終端演算法，包括車路協同設備。
從數字化、網路化、智能化來看，我們以智能網聯、智能交通應用為例，尤其是車路協同自動駕駛，我們可以構建一個數字化道路，通過路側的感測器可以實時感知路面上的交通狀態，包括行人、自行車、非機動車、機動車等。同時我們可以利用預先構建的物理環境模型，如道路模型、建築模型，形成雲端數字孿生系統。通過 RSU 或者 5G 基站等，將物理平台和數據平台進行更好的數據擴充，從而在進行交通調度和管理時，我們可以在雲端進行模擬和推演，選擇更好的交通管理策略和方法，從而提高整個交通效率，這也是數字孿生基礎體系。
從我們過去做的一些工作可以得出，孿生最核心的一個維度是感知，如何在不同天氣、不同狀態、我們肉眼不可視的情況下，甚至在感測器很難去探測的情況下進行數字孿生，是我們需要探討的一個話題。過去我們在自動駕駛和智能交通領域，會利用雷達等設備在夜間或者大霧天進行車輛軌跡跟蹤，然後再進行孿生，使得我們對整個交通狀況了如指掌。
另外我們也可以利用攝像頭等一些信息，去構建全息實時孿生路口。我們用幾個攝像頭構建了一個完全映射到數字空間的全息路口，在這個路口裡，攝像頭和孿生核心的區別不在於我們能夠被上帝視角，更核心的區別是，一個攝像頭它只能是分析一些簡單的特徵，它是不可計算、難以去模擬的，也不能分析歷史發生的原因，更加不能預測未來。但是在一個孿生的空間裡邊，所有的目標除了反映物理世界當前狀態外，還可以把它變成一個多智能體，對未來進行預測，基於當前的行人、車輛等的狀態，來預測未來。
實時孿生更多地體現在我們能夠實時從物理世界中獲取動態的一些狀態，通過雲端強大的算力，在短時間內快速推演和預測未來，更好地去做預測，尤其是交通管理預測，這對於全局交通測試管理，甚至某一個紅綠燈的配時管理，是非常有價值和意義的。當然我們也可以在這種環境下用強化學習進行訓練，不斷提升整個交通效率或者某一個區域的交通效率。
關於實時孿生應用，近幾年在各個領域逐步的擴展開來，其應用範圍包括孿生工廠、智慧城市、智慧礦山、沉浸式會議等。在每一個應用領域，實時孿生除了進行可視化以外，如何利用智能決策也是非常重要的話題，是一個需要深入研究的方向。
數據驅動自動駕駛
第二部分我將結合自動駕駛介紹如何才能更好實現智能決策。自動駕駛整體架構主要包括感測器、感知 & 定位、場景描述、決策 & 規劃以及控制。
目前感測器大多是多元感測器的融合，包括攝像頭、激光雷達、超聲波等的組合，甚至每輛車都會配備有幾十個感測器，這些感測器可以獲取多維狀態信息進行車輛感知與定位，所用方法包括語義分割、目標檢測、SLAM 等，結合地圖和動態的目標，進行駕駛場景的描述。
駕駛場景的描述一方面是車端感知結構的描述，另外一方面也可以是路側的感知結構描述，也即車路協同的自動駕駛，單車感測器與路側感測器進行融合，在一個時空下進行描述，這裡的描述不僅僅是動態的描述、靜態目標的描述，地理特徵的描述，還有一些駕駛行為的描述，基於這樣的描述，我們可以做一些規劃、運動控制、軌跡優化等最終形成一些價值策略。基於這樣的駕駛策略，我們可以對方向、油門、剎車進行控制，當然也有人機共駕的模式。
關於自動駕駛的研發，本質上包括模型驅動和數據驅動這兩個維度。過去基於模型的驅動，需要對物理環境模擬一個模型，基於這個模型進行參數辨識、狀態估計等操作，之後進行閉環控制，這是經典的模型驅動方法。
深度學習的出現，我們可以獲得更多的數據，有更多的算力，基於這些數據和算力，再加上核心演算法，以數據的形式去構建一個更廣闊的策略，更泛化的參數空間，從而去描述一個事物，這本質上也是一種參數描述方法，或者說是一個模型的描述方法。唯一的區別是，我們可以藉助算力、演算法來更精準、更高維度的去構建數據驅動的模型，進行推理與預測。
自動駕駛領域涉及基於數據驅動的感知演算法，我們收集不同的數據，然後基於來自各種天氣、各種場景的數據進行目標檢測、目標分割、道路檢測等。當然下圖覆蓋範圍很少，自動駕駛還包括其他場景。
我們構建了一些軌跡資料庫，以及我們採集的、感知到的一些實時的駕駛行為軌跡數據，再融合到導航地圖，形成機理模型，提取的軌跡模型可以得到駕駛的行為軌跡，最終映射到駕駛行為地圖，駕駛行為地圖與導航軌跡融合，進而進行全局優化。並且針對效率、舒適度的操作性等這些約束條件來進行優化，最終形成一個導航跟蹤的決策規劃軌跡，本質上這就是數據驅動決策。當然基於強化學習的方法，我也會簡單介紹一些應用場景，我們也有一些落地的應用場景在進行測試應用。
除了感知決策規劃以外，實際上對一個系統進行設計驗證和完備性檢驗是非常重要的。此外基於數據的方式也是重要的一個場景，Verification（符合性驗證）和 Validation（完備性檢驗）在自動駕駛領域體現相對更明顯一點。對於符合性驗證來說，我們能否把一個系統按照期望做得更好，這需要用到更多的測試用例、測試環境，從而驗證設計目標。
另外一方面，完備性檢驗是非常有必要的，是面向用戶的，自動駕駛是不是真的滿足客戶需求，是不是能夠在現實中滿足所有場景，是不是真正能夠滿足自動駕駛系統需求，最終給客戶提供一個確定的高可用的系統，這些都是需要深入探討的，所以不僅僅是 Verification 這樣一個簡單的事情，我們更多的還是需要在現實當中如何去檢驗。
我們在現實當中面臨的場景是有限的，如何去確定或者去真正地驗證我們的設計是否滿足客戶的需求，是比較重要的，這些問題，可以採用數據驅動來更多地模擬模擬、構建更多場景作為符合性驗證測試用例。對於完備性驗證，需要更多的現實數據，很難做到 100%，是一個逐步逼近甚至是統計意義的過程，但 Validation 是產品上市的重要環節，是必不可少的環節。
總結來說，自動駕駛數據驅動應該是從數據採集到原始數據，然後進行場景分析，不管是 Verification 還是 Validation，整個評測體系將基於實時孿生的模擬系統，最終構建分級的自動駕駛數據驅動體系，從而可以更好地進行一些研發工作。
基於實時孿生的智能決策
在介紹智能決策之前，我會分享自動駕駛決策包含哪些方法，這些經典方法是如何實現的。如下圖所示，從經典的分析來看，智能決策包括路徑規劃、行為規劃、運動規劃和反饋控制。
在路徑規劃方面，很經典的優化方法是 Dijkstar 演算法，這種方法相對簡單；在行為規劃裡面，做一些有限狀態機、決策樹模型，甚至是基於知識的推理決策模型或者基於價值的決策模型進行基礎決策。
在運動規劃方面，我們需要平滑的軌跡以及基於搜索的規劃演算法、基於採樣的規劃演算法、直接優化方法等，這些都是經典的方法。深度學習和機器學習還是在逐漸發展當中的。
實際上，我們可以採用監督學習、非監督學習、強化學習等方法，以數據為原料實現自動駕駛智能感知和智能決策。深度學習在感知方面用的比較多，感知環境的一些目標信息、動態及靜態環境描述；在決策規劃方面，強化學慣用的比較多，基於當前狀態映射輸出相應動作、基於預期回報評價動作價值。
除了用經典的方法進行決策以外，運用物理動力學模型、環境模型去構建一個真正的 Simulator 模擬環境，利用與現實環境一致測試場景訓練學習。強化學習的訓練過程挑戰極大，需要有複雜的場景和現實的決策結果以及反饋的激勵機制，實際駕駛過程中安全性是最大的問題。有了實時孿生，可以利用與現實一致的環境，包括靜態環境和動態車流、人流等，既有與現實的一致性，也有場景的可編輯能力，為強化學習訓練提供了一個極好的訓練測試空間。
這裡，我簡單的介紹一下基於實時孿生的強化學習框架。最開始講實時孿生時，本質上它就是一個數據的物理對象、過程，通過感測器進行感知反饋，感知反饋與人工輔助的輸入進行數據融合，最終得到對物理世界過程的描述，在實時孿生裡面進行狀態更新或結果估計。
可以看到，我們的實時孿生實際上構建了一個虛擬的評價系統，它不僅提供了一些數據場景的升級，它還可以利用這些模型進行狀態估計。我們在這方面也跟清華等學校進行深入合作，未來也會把相應的環境開放給更多高校和研究機構，我們希望研究者能夠更多地利用實時孿生環境，促進強化學習在智能決策方面的一些研究，加速整個過程。
自動駕駛不單純是一個及其行為，本質上屬於一種社會行為，是需要與周界的要素互動的。過去一個單車的自動駕駛在有限的感知範圍內，只能根據車周邊的環境進行決策。但人在完成駕駛過程中，會接收更廣、更大範圍的信息，是一個多智能體的協同，具有一定的博弈色彩。所以在自動駕駛決策訓練過程中，需要更多的感知信息，當下的智能網聯車路系統系統為滿足這一要求提供了很好的支撐，能夠站在上帝視角提供自動駕駛的決策。
類似下圖所示的實時孿生驗證環境，利用路側雷達、攝像頭等感知構建整個交通流，構建右上角所示的實時孿生系統，它實時地反映每一個車輛的軌跡和狀態變化，與現實世界是一一映射的。而且在孿生世界中，每個車輛都是一個獨立的智能體，當發生碰撞或者認為的敢於時，比如增加了一台自動駕駛車，周邊的車輛會自動的，智能的做出相應的反應，這就是實時孿生系統與簡單的鏡像系統、可視化系統的本質區別。
在右下角動圖看到，在現實的交通流的基礎上注入一些虛擬車輛，基於這些車輛我們去做研究工作，包括自動駕駛本車的決策，可以看到注入的虛擬車輛已經有在路上的感覺，它可以執行新的策略，進行自動變道等，這說明我們在現實數據的基礎上，可以好地應用這個系統。
另一方面，除了一些路口，我們可能需要城市視角去觀察一個交通體系。我們有路口級模擬，可以支撐一個城市級的大規模交通模擬，從廣義的視角去描述整個交通體系的設計。當然，路口本身可能會跟自動駕駛某一個車輛的決策行為是高度相關，從宏觀上來說，更多是體現在一個城市的交通管理層面。基於強化學習也好，基於其他人工智慧方法也好，在進行迭代升級時，實際上提供的環境可以更多地反映真實世界，利用這樣一個環境去做更多的決策研究。
下面動圖是我們和某頭部車企合作完成的研究部分展示，左邊是一個模擬視頻，右邊是路測視頻，而且是實時的，利用這樣一個環境來更好地研究我們的方法，最終的結果應該更具有實時性。
我們還做了一些增強現實的車輛在環系統，動圖中間的攝像頭是車載攝像頭，實際路上是沒有的，但是在虛擬環境下，我們可以實時注入車輛，在車輛在環的場景下，可以更好進行測試、驗證。
最後我想說的是，基於強化學習和深度學習等方法進行決策時，需要融合更多的視角，從一個群體智能開始，然後再反過來觀察單車的智能，以這種角度去研究。做車路協同自動駕駛，核心還是以單車感知智能為主，雲端或路側感知輔助，兩者融合在一起實現上帝視角與自我視角的融合，具備更好的完整性。正是這些特性，實時孿生系統能夠提供更好的支持，車路協同自動駕駛系統未來在做深度學習，尤其是基於實時孿生的深度學習時，可以為智能決策的研究提供更好的條件支撐。
我這次主要分享了實時孿生，尤其是在自動駕駛智能決策和驗證方面的應用方向，也算是拋磚引玉，希望和其他研究者進行交流，利用這樣一個系統，進行更深、更廣的創新性方法研究和工程落地實踐，我的分享就到這，謝謝大家。
