進入到2020年，自動駕駛技術走到了需要規模商業化證明技術價值的時候。不管是封閉或半封閉場景的礦區、港口和園區，還是公開道路的RoboTaxi、RoboTruck等，技術都是自動駕駛在不同場景商業化的基礎。
本報告覆蓋了自動駕駛汽車所需要的感知、定圖與定位、傳感器融合、機器學習方法、數據收集與處理、路徑規劃、自動駕駛架構、乘客體驗、自動駕駛車輛與外界交互、自動駕駛對汽車部件的挑戰（如功耗、尺寸、重量等）、通訊與連接（車路協同、云端管理平臺）等技術領域的討論，并且提供相應的各自動駕駛公司的實施案例。
本報告是由美國、中國、以色列、加拿大、英國等全球不同國家和地區的自動駕駛專家，針對自動駕駛技術的硬件和軟件技術，進行的全面闡述，方便各位讀者能夠從技術角度，了解最新的技術動態，從而全面了解自動駕駛汽車。
本報告的案例大多數來自汽車領域，這也是目前自動駕駛行業最火熱的應用場景，但是，服務個人出行的汽車并不是自動駕駛技術影響深遠的行業，其他的行業，如公共交通、貨運、農業、礦業等領域，也同樣是自動駕駛技術應用的廣泛天地。 本報告為英文報告，由于時間關系，車智并未翻譯為中文。借此機會，車智希望外文出色（主要是英文）的讀者朋友，加入車智翻譯組，希望將一些好的報告，翻譯為中文，方便國內的從業者學習，促進國內自動駕駛的發展。
各類傳感器，用于自動駕駛汽車感知環境，如同人類的眼睛，自動駕駛汽車的基礎部件； 自動駕駛汽車的傳感器主要有五種，包括了：1、Long range RADAR；2、Camera；3、LIDAR；4、Short／Medium range RADAR；5、Ultrasound；這些不同的傳感器，主要用于不同距離、不同類型的物體感知，為自動駕駛汽車判斷周邊環境，提供最重要的信息來源，另外，還有一個環境感知的信息來源是車路協同的來源，這點報告中也有參數。
關于傳感器的選擇，主要是根據下面的技術因素進行判斷：掃描范圍，確定必須對被感測的對象做出反應的時間；分辨率，確定傳感器可以為自動駕駛車輛提供的環境細節；視場或角度分辨率，確定要覆蓋、要感知的區域需要傳感器的數量；刷新率，確定來自傳感器的信息更新的頻率；感知對象數量，能夠區分3D中的靜態對象數量和動態對象數量，并且確定需要跟蹤的對象數量。
可靠性和準確性，傳感器在不同環境下的總體可靠性和準確性；成本、大小和軟件兼容性，這是量產的技術條件之一；生成的數據量，這決定了車載計算單元的計算量，現在傳感器偏向智能傳感器，也就是，不僅僅是感知，還會分辨信息，把對車輛行駛影響最重要的數據傳輸給車載計算單元，從而減少其計算負荷。
傳感器因為一直暴露在環境中，容易受到環境的污染，從而影響傳感器的工作效率，所以，都需要對傳感器進行清潔。Tesla的傳感器，具有加熱功能，可抵御霜凍和霧氣；Volvo的傳感器配備有噴水清潔系統，用于清潔粉塵；Waymo使用的Chrysler Pacifica的傳感器有噴水系統和刮水器。
SLAM是一個復雜的過程，因為本地化需要地圖，并且映射需要良好的位置估計。盡管長期以來人們一直認為機器人要成為自主的基本“雞或蛋”問題，但在1980年代和90年代中期的突破性研究從概念和理論上解決了SLAM。從那時起，已經開發了多種SLAM方法，其中大多數使用概率概念。
為了更準確地執行SLAM，傳感器融合開始發揮作用。傳感器融合是組合來自多個傳感器和數據庫的數據以獲得改進信息的過程。它是一個多級過程，處理數據的關聯，相關性和組合，與僅使用單個數據源相比，可以實現更便宜，更高質量或更多相關信息。
對于從傳感器數據到運動所需的所有處理和決策，通常使用兩種不同的AI方法： 順序地，將驅動過程分解為分層管道的組件，每個步驟（傳感，定位，路徑規劃，運動控制）都由特定的軟件元素處理，管道的每個組件都將數據饋送到下一個；基于深度學習的端到端解決方案，負責所有這些功能。
哪種方法最適合AV的問題是不斷爭論的領域。傳統且最常見的方法包括將自動駕駛問題分解為多個子問題，并使用專用的機器學習算法技術依次解決每個子問題，這些算法包括計算機視覺，傳感器融合，定位，控制理論和路徑規劃 端到端（e2e）學習作為一種解決方案，可以解決自動駕駛汽車復雜AI系統所面臨的挑戰，因此越來越受到人們的關注。
端到端（e2e）學習將迭代學習應用于整個復雜系統，并已在深度學習的背景下得到普及。當前，不同類型的機器學習算法被用于自動駕駛汽車中的不同應用。本質上，機器學習根據提供的一組訓練數據將一組輸入映射到一組輸出。卷積神經網絡（CNN）；遞歸神經網絡（RNN）；深度強化學習（DRL）；是應用于自動駕駛的最常見的深度學習方法。
CNN——主要用于處理圖像和空間信息，以提取感興趣的特征并識別環境中的對象。這些神經網絡由卷積層組成：卷積過濾器的集合，它們試圖區分圖像元素或輸入數據以對其進行標記。該卷積層的輸出被饋送到一種算法中，該算法將它們組合起來以預測圖像的最佳描述。最終的軟件組件通常稱為對象分類器，因為它可以對圖像中的對象進行分類，例如路牌或其他汽車。
RNN——當處理諸如視頻之類的時間信息時，RNN是強大的工具。在這些網絡中，先前步驟的輸出作為輸入被饋送到網絡中，從而使信息和知識能夠持久存在于網絡中并被上下文化。
DRL——將深度學習（DL）和強化學習相結合。DRL方法使軟件定義的“代理”可以使用獎勵功能，在虛擬環境中學習最佳行動，以實現其目標。這些面向目標的算法學習如何實現目標，或如何在多個步驟中沿特定維度最大化。盡管前景廣闊，但DRL面臨的挑戰是設計用于駕駛車輛的正確獎勵功能。在自動駕駛汽車中，深度強化學習被認為仍處于早期階段。
這些方法不一定孤立地存在。例如，特斯拉（Tesla）等公司依靠混合形式，它們試圖一起使用多種方法來提高準確性并減少計算需求。
一次在多個任務上訓練網絡是深度學習中的常見做法，通常稱為多任務訓練 或輔助任務訓練。這是為了避免過度擬合，這是神經網絡的常見問題。當機器學習算法針對特定任務進行訓練時，它會變得非常專注于模仿它所訓練的數據，從而在嘗試進行內插或外推時其輸出變得不切實際。通過在多個任務上訓練機器學習算法，網絡的核心將專注于發現對所有目的都有用的常規功能，而不是僅僅專注于一項任務。這可以使輸出對應用程序更加現實和有用。