<mark id="oztn4"></mark>
3
| 本文作者： 張偉 | 2017-07-26 12:01 |
*清華大學猛獅智能車團隊（后排左三為張新鈺）
雷鋒網(wǎng)新智駕按：作為清華大學智能車“猛獅”團隊（由中國工程李德毅院士及清華大學李克強教授指導）負責人，張新鈺在2016年帶領車隊拿下“中國智能車未來挑戰(zhàn)賽”城市賽段亞軍，雖然與冠軍失之交臂，但這也是對他數(shù)十年智能駕駛研究成果的證明。在這漫長的生涯里，他參與研發(fā)了國內首輛無人駕駛快遞車以及奇瑞-百度智能車的底層智能系統(tǒng)。2015年，其帶領的團隊所研制的智能公交車在河南鄭開大道順利完成了開放城際道路環(huán)境下的智能駕駛，這是世界上第一臺智能駕駛公交車正式路測。
正是因為在智能駕駛領域的多年積累，他近期受邀到中國圖象圖形學學會主辦的“智能駕駛與機器視覺”講習班展開分享?；仡櫫酥悄荞{駛的發(fā)展歷史，詳述了智能駕駛的關鍵技術，深入解讀了智能駕駛產(chǎn)業(yè)化的挑戰(zhàn)與方向，最后，還將自己數(shù)十年在清華團隊所做的關于智能駕駛的研究和成果如數(shù)分享。
以下為張新鈺分享精華內容，雷鋒網(wǎng)新智駕獨家整理奉送（有刪減）。
汽車工業(yè)已經(jīng)經(jīng)歷了100多年的發(fā)展，而中國業(yè)已成為全球第一大汽車市場?；仡櫄v史，我們可以發(fā)現(xiàn)汽車工業(yè)經(jīng)歷了幾次較大的變革。
100多年前，汽車代替馬車，成為新一代的日常交通工具，隨著汽車的普及，汽車的形態(tài)及生產(chǎn)工藝也在不斷進行突破。后來，汽車安全性能越來越受到重視，無論是被動安全還是主動安全，都有不斷進行探索的先驅。隨著汽車電子、通訊技術以及人工智能的發(fā)展，汽車儼然要成為下一代的移動終端。
智能駕駛也在這一進程中不斷發(fā)展。也許我們對開始于美國莫哈韋沙漠的DARPA無人車挑戰(zhàn)賽已經(jīng)很熟悉了，很多人都將這一賽事視作無人駕駛人才的“搖籃”，但殊不知，關于無人駕駛，其研發(fā)在世界范圍內已有很長的歷史。
從以上智能駕駛發(fā)展的歷程來看，無論是互聯(lián)網(wǎng)科技公司、車企、Tier 1，還是自動駕駛傳感器、系統(tǒng)解決方案創(chuàng)新公司，亦或是高校、科研機構，全都加入到大潮之中，資本、人才亦迅速涌入。
現(xiàn)在，人們談論最多的、市場聲量最大的，國外當屬谷歌，而國內則是百度。谷歌研究無人駕駛已經(jīng)有10多年的歷史，而百度，近來聲勢浩大的要All in AI，最重要的方向當然還是智能駕駛，“阿波羅計劃”（Apollo）便是其最重要的戰(zhàn)略。百度要成為智能駕駛領域“安卓”的野心昭然。
為了早日實現(xiàn)商業(yè)化落地，谷歌無人車獨立出來以Waymo品牌存在。后來，那輛廣為流傳的“螢火蟲無人車”也在不久前宣布退役。
百度如今大肆推廣智能駕駛，通過“阿波羅計劃”向外界開放其代碼。但智能駕駛汽車是人坐的，一般人都會考慮其安全性，要讓所有人接受這一新生事物，是非常艱巨的任務。
從“阿波羅計劃”的開放路線圖可以看到，自2017年7月，百度開放了其自動駕駛基本平臺，開放的內容主要是封閉場景循跡自動駕駛。張新鈺覺得，這種技術目前自動駕駛公司、高校已經(jīng)有基本的技術原型。
到第二步，百度想推廣固定車道的自動駕駛，這才是比較關鍵的。它要公布高精地圖、傳感器等一系列感知、定位技術。
然后是真正意義上的自動駕駛，這個就更加遙遠了，如果到今年年底百度能把這塊開放，那么說明“阿波羅”真是一個很開放的平臺。
從自動駕駛的上層技術來看，百度在國內處在領先位置。2015年12月，百度的自動駕駛汽車在北京五環(huán)上進行了測試。
在那輛自動駕駛汽車上，裝配了一個64線的激光雷達（Velodyne）。這種架構基本上是現(xiàn)在國內的高校以及科研機構或創(chuàng)業(yè)型公司所采用的，用高精度的激光雷達方案做自動駕駛。這套設備的成本大概在130、140萬人民幣左右。當時，百度說3年后（也就是2018年）實現(xiàn)商業(yè)化，現(xiàn)在看來還有很大困難。
目前，谷歌的自動駕駛汽車已經(jīng)可以在鄉(xiāng)村道路以及復雜路況下運行，但百度依然是在高速上實現(xiàn)自動駕駛。所以，從技術上看，張新鈺個人覺得現(xiàn)階段肯定還是谷歌的水平要更高。
但是，不管是谷歌還是百度，亦或是很多車企，現(xiàn)在遇到了同樣的問題，那就是“自動駕駛落地”。其中，阻礙因素有這樣幾個方面：
傳感器層面，無論是圖像、攝像頭、雷達還是GPS，在一般環(huán)境下，由于天氣、氣候或者突發(fā)情況，不可能保證100%安全。而談起激光雷達，雖然它感知環(huán)境的效果最好，但“貴”是最大的問題。
張新鈺介紹，百度采用的64線激光雷達價格大概在60萬人民幣左右，谷歌所使用的32線激光雷達，成本大概在33萬人民幣。而Quanergy的S3，作為固態(tài)激光雷達，其成本雖然據(jù)稱已經(jīng)壓縮到了幾百美元至上千美元，但具體效果還沒有確切的說法，因為企業(yè)還未用其產(chǎn)品進行測試。
而在政策法規(guī)問題上，美國很多州已經(jīng)允許自動駕駛汽車上路，但國內依然未開放。比如7月5號，李彥宏乘著自家的自動駕駛汽車上了五環(huán)，立馬被交警部門調查。政策對于自動駕駛的支持非常重要，政府需要站出來。
此外，實現(xiàn)自動駕駛，還需要車與車、車與路、車與周圍更為廣闊的環(huán)境進行信息的感知和交互。這一塊國內基本上是空白，可能有些試驗場有這樣的設施，但為數(shù)不多。
張新鈺認為，只有這三個方面的問題解決了，才能考慮自動駕駛汽車落地的問題。
其實，做智能駕駛，就是讓機器仿照人類去駕駛，我們要思考的是如何按照腦科學的發(fā)展來做智能駕駛。
人腦是由性格、情緒、長期記憶、短期記憶、動機以及學習和思維組成的。
如果以人腦來類比“駕駛腦”，智能駕駛其實形成的是這樣一個框架：
一般來說，人在駕駛的時候，其實是將認知、感知（駕駛過程主要通過眼睛來看）、行動（執(zhí)行人腦一些行動）和反饋（反饋到人眼里面）進行了一個循環(huán)。
智能駕駛也一樣，首先有動態(tài)感知（通過感知記憶），然后到態(tài)勢分析（包括長期記憶的進入）、自主決策，之后是精確控制（就是我們的小腦），再到行動——形成一個循環(huán)過程。
基于此，我們提出了關于智能駕駛過程的流程圖。
這個流程中，傳感器充當了人類眼睛的角色。其中包括雷達傳感器（激光雷達、毫米波雷達）；視覺傳感器（左、中、右攝像頭）；車姿傳感器（慣導IMU、OBD接口）；定位傳感器（GPS、北斗、輪速計）。
傳感器感知到的數(shù)據(jù)會每隔一段時間形成駕駛態(tài)勢圖，每100毫秒形成一個駕駛圖簇，構成車輛的短期記憶；長期記憶則包含了駕駛地圖以及各類駕駛先驗知識；而動機就是智能駕駛的某個路徑要求，可以通過人機交互傳達給車輛。
通過短期記憶、長期記憶以及動機不斷相互作用，車輛形成了“二次規(guī)劃”——學習和思維，其實就是人類思考的過程。
這些規(guī)劃再輔以一些緊急干預的操作，就形成了控制的策略（類似于人小腦實現(xiàn)的功能）。
最后到執(zhí)行機構——智能駕駛車輛。
可以看到，按照腦認知結構研究智能駕駛，它有感知域、認知域、執(zhí)行。這是一個以認知為中心的智能駕駛的全域過程，可以分層看一下：
而在以上四個層面上，現(xiàn)今也有很多需要車企、技術公司去解決的關鍵技術問題。
具體而言，這些關鍵性技術包含感知、認知、決策、控制和執(zhí)行。
這塊的內容包括在復雜行駛環(huán)境下自主式與協(xié)同式的動靜態(tài)目標檢測與跟蹤技術，重點解決的是檢測的準確性、魯棒性和實時性。
傳感器主要以單目相機、雙目相機、毫米波雷達以及激光雷達為主，同時把GPS組合慣導系統(tǒng)的信息融入進去。針對不同的傳感器，可以有不同的算法，進行深度學習與構建。
智能駕駛非常關鍵的一個點是“數(shù)據(jù)融合”。因為單一的傳感器的適應性不夠、精度不高，那我們就想辦法把多傳感器的數(shù)據(jù)融合到一起，進行目標的識別或者定位。
目前，清華猛獅團隊也在做一些工作，比如數(shù)據(jù)融合，我們將相機RGB圖像與雷達數(shù)據(jù)進行融合，對人、車輛不斷進行檢測，用卷積神經(jīng)網(wǎng)絡做訓練。
從下圖可以看到，上部是攝像頭拍下的RGB圖像，下部是激光雷達的點云圖像，進行融合后可以得到灰度圖：
通過這種融合，可以提高目標檢測和識別的能力。
這一塊要實現(xiàn)擬人認知過程中場景理解、目標危險行為預判和軌跡生成預測問題。這其實是最難的，目前研究還不是很多。
我們首先通過車內外綜合狀態(tài)感知的傳感器，獲取數(shù)據(jù)后進入到瞬態(tài)記憶池，然后再到態(tài)勢記憶池，再到自適應定位學習，最后是長期記憶池。這樣就形成了駕駛態(tài)勢，最后輸出到下一層——決策。
這個過程中，清華猛獅團隊使用基于駕駛認知計算的分割、調度、映射和加速方法進行探索。這塊是其目前做的硬件方案，這里需要使用一些工具，包括FPGA、GPU和GPU多核運算等，加快認知計算的速度，縮短認知輸出所需的時間。
整個認知過程中，還有一個很關鍵的問題是智能駕駛定位的問題。
現(xiàn)在智能駕駛定位麻煩的原因在于：
GPS在很多地方?jīng)]信號；
價格也貴，GPS要好幾萬，慣導IMU好一點的要20萬人民幣。
這塊清華猛獅團隊也做了些工作。
上圖是一個智能駕駛定位系統(tǒng)，首先有一個絕對定位的系統(tǒng)，包括GPS、激光雷達；還有一個相對定位的系統(tǒng)，有慣導IMU、圖像編碼器以及車輪編碼器。我們可以融合二者的信息來做定位融合，這樣就可以大大降低成本，因為可以用低精度GPS、雷達和慣導IMU（便宜的幾千人民幣）。
當然，不同的傳感器，在不同的條件下利用其產(chǎn)生的數(shù)據(jù)進行定位，效果是不一樣的，組合形式則需要更多的嘗試。
感知、認知之后，我們需要做決策，要在動態(tài)場景中進行擬人行為的決策和路徑規(guī)劃及避障，需要解決決策的有效性和實時性。
通過認知過程中的結果，把車輛的速度、加速度還有障礙物的速度、加速度都預測好，同時把車輛位置、車輛航向以及車道線的序列、交通標志等一切信息拿出來做決策算法的輸入。其中還包括車輛動學模型、還有障礙物的威脅模型。
我們同時要把以前的專家示教序列、獎勵學習以及更新的模型參數(shù)融入到?jīng)Q策算法中去，最后形成這種局部點坐標和期望速度值。
傳感器的輸入信息以及決策算法導出的信息共同作用于規(guī)劃算法，再引入車輛模型，形成最后的軌跡坐標和速度曲線。
這是自主決策的一個過程。
張新鈺和他的團隊提出了“基于AI的自主決策”。
簡單來說，傳感器感知當前車輛內部與外部環(huán)境產(chǎn)生數(shù)據(jù)，數(shù)據(jù)輸入到數(shù)據(jù)模型，數(shù)據(jù)模型會輸出車輛的運動指令到控制器，運動指令包括加速度與方向盤轉向角，控制器會將運動指令轉化為控制指令輸入到執(zhí)行器，執(zhí)行器執(zhí)行指令后，產(chǎn)生執(zhí)行反饋到控制器。張新鈺團隊的目標是通過神經(jīng)網(wǎng)絡學習出數(shù)據(jù)模型。
而在智能駕駛汽車的自主決策方面，協(xié)同控制也是一大難點。
協(xié)同控制指的是全場景工況下車輛運動狀態(tài)參數(shù)自適應估計方法和多目標協(xié)同控制問題，解決動力學控制的有效性和魯棒性。
這個控制其實挺麻煩的，因為這個是底層的控制，它的非線性很不好做。
現(xiàn)在比較流行的，主要是基于MPC（Model Predictive Control）的協(xié)同控制，大家了解比較多的。通過全場景工況下車輛運動狀態(tài)參數(shù)的反饋和隨時域滾動的MPC，解決無人駕駛車輛縱向與橫向的實時跟蹤性，體現(xiàn)在隨車而動的不同時域長度的預測能力上。
前面談了很多感知、認知、決策以及控制層面的問題，最后還是要車輛本身去執(zhí)行控制操作，如果車輛的執(zhí)行力不行，那智能駕駛的功能實現(xiàn)肯定好不了。
對于智能駕駛汽車來說，要想很好地執(zhí)行控制操作，在電源控制器、轉向控制器、油門控制器以及制動控制器上都要進行一些改裝。目前，國內在這塊的技術都不是很成熟，這也是影響自動駕駛落地的重要因素。
互聯(lián)網(wǎng)科技公司主要做軟件，以工程機上層為主；而車廠其實以下層的組裝為主，也就是OEM，也不是那么懂車。像制動、油門和轉向等這些領域，話語權依然集中在博世、大陸這樣的Tier 1身上。比如去年清華和長安合作進行的2000公里的自動駕駛路測，車輛的制動就是博世做的，國內現(xiàn)在能做這塊的公司其實不多。
張新鈺表示他的團隊都是自己改裝東西，改裝一個閥去做制動，當然這都是手工做的，沒量產(chǎn)。現(xiàn)在很多公司想創(chuàng)業(yè)，其實這塊是很有意義的，但著實很難。
總的來說，像油門、線控轉向這些技術都直接關系到智能駕駛車輛的精準執(zhí)行，這些在目前來說也是制約智能駕駛落地的重要問題。
以上闡述的關鍵技術，基本上是針對單車智能，而智能駕駛是系統(tǒng)工程，涉及車與車通信、人車交互、多車間的交互等等。目前，單車智能問題還未解決好，多車智能便不會成為重點。這可能作為未來五年到十年的研究方向，大家若有興趣，可以關注。
接下來闡述一下智能駕駛產(chǎn)業(yè)化方面的問題。
一輛智能駕駛汽車上，搭載了相機、激光雷達、毫米波雷達、GPS設備、后視鏡、OBD、高精地圖、慣導系統(tǒng)等。僅僅針對激光雷達，如今國內外的創(chuàng)業(yè)公司便不可勝數(shù)。
總結起來，智能汽車產(chǎn)業(yè)，集成幾乎所有工業(yè)和信息領域的中高端技術為一身，鏈條長、關聯(lián)度強、就業(yè)面廣、涉及經(jīng)濟領域多、消費拉動大，是國民經(jīng)濟的重要支柱產(chǎn)業(yè)。
再來看一看百年汽車產(chǎn)業(yè)核心競爭力的轉移趨勢。
從上圖可以清晰地看出，以后汽車行業(yè)的競爭將會聚焦在智能駕駛技術之上。
在張新鈺看來，信息技術和智能制造已然成為熱點，智能駕駛是集位置服務、車聯(lián)網(wǎng)和機器人等技術于一身存在，無論是實踐云計算、物聯(lián)網(wǎng)，還是研發(fā)機器人，智能駕駛都被推到風口浪尖，占據(jù)重要位置。
針對智能駕駛，目前國際上兩大機構NHTSA（美國國家公路交通安全管理局）和SAE（美國汽車工程師學會）都有自己的分級標準，前者為5級劃分，后者是6級劃分。二者的不同之處在NHTSA定義的L4級別包括了SAE定義的L4和L5級別。
此前，特斯拉的量產(chǎn)車已經(jīng)實現(xiàn)了L2級別的自動駕駛；2017年7月11日，新一代奧迪A8發(fā)布，據(jù)稱已經(jīng)達到L3級別的自動駕駛，這兩款車是已經(jīng)量產(chǎn)的自動駕駛汽車。像很多高校，其實走的路線也是從L3開始，走向更高級別的自動駕駛。
針對L4和L5的自動駕駛，谷歌、百度以及一些車企正在進行研發(fā)，但是還未量產(chǎn)化。
張新鈺認為，L3級別可能在2020年會比較完善，量產(chǎn)化車型也會越來越多；而L4、L5級別，估計還需要10年左右的時間才能實現(xiàn)。到那時，自動駕駛車輛需要全場景運行，車本身的結構會有很大的變化，同時要保證絕對安全。
對于智能駕駛的發(fā)展階段，張新鈺和他的團隊也有自己的劃分標準。
最初級的是離線輔助駕駛；接著局部時段、局部區(qū)域的自動駕駛；然后是自駕駛/自主駕駛/無人駕駛；最高級別的是以人為本的人機協(xié)同。形象一點來說，前兩個階段是人趕著馬兒跑，第三個階段則是馬自己跑，最后一個階段就是騎士與馬的完美共舞。
全球智能駕駛的實踐近乎火爆，盡管形態(tài)多樣、方法各異，但也趨向形成共識，從認知試驗走向認知工程，正迅速為智能汽車的產(chǎn)業(yè)化和市場切入開辟道路，建立全新的智能車產(chǎn)業(yè)生態(tài)環(huán)境。
反觀此前百年汽車工業(yè)成功的關鍵，必須要保證以下三個方面的要求：
規(guī)模化生產(chǎn)
精細化管理
高可靠運行
這些要求在智能駕駛汽車上同樣需要得到保證，甚至要求會更高。目前，智能駕駛汽車的發(fā)展路線大致有以下幾種：
以傳統(tǒng)的汽車廠商為代表，從ADAS切入，“漸進式“地從高級輔助駕駛實現(xiàn)到無人駕駛的過渡。
現(xiàn)在很多創(chuàng)業(yè)公司和車企都在做ADAS這方面的功能，主要有攝像頭方案、毫米波雷達方案。后期，隨著車輛自動駕駛水平越來越高，激光雷達也將被引入。
從攝像頭方案切入到ADAS，目前有很多內容是可以去進行嘗試的。
而毫米波雷達則被認為是ADAS的核心傳感器。
激光雷達雖然分辨率高、精度高、抗有源干擾能力強，但是目前的價格實在昂貴。
基于以上分析，未來要做自動駕駛方案，在傳感器的選擇上會有多種多樣的配置選項。攝像頭是不是可以多用一些？毫米波雷達用多少個？激光雷達是否可以盡量少配一些？這涉及到自動駕駛汽車的成本控制，創(chuàng)業(yè)者們需要去思考。
以Google、百度、Uber等為代表的互聯(lián)網(wǎng)公司，通過價格高昂的傳感器（激光雷達為主），“一步到位位”地實現(xiàn)完全無人駕駛。
谷歌和百度的自動駕駛汽車，包括各類傳感器以及車輛本身改裝的成本等，成本基本都在100萬人民幣以上。一般的公司基本上難以承受。
以Tesla等為代表的一邊自己造車，但不按傳統(tǒng)汽車廠的路線發(fā)展自動駕駛，另一邊利用互聯(lián)網(wǎng)思維發(fā)展自動駕駛技術，利用上路產(chǎn)品作為測試自動駕駛系統(tǒng)Bug的手段，同時又打著低成本的牌。
特斯拉的量產(chǎn)車還可以進行駕駛數(shù)據(jù)采集，數(shù)據(jù)對將來的無人駕駛很關鍵。所以，張新鈺覺得，特斯拉最有可能實現(xiàn)自動駕駛商業(yè)化落地。
從上面三條發(fā)展路線來看，智能駕駛產(chǎn)業(yè)需要考慮的問題就包括下面這些：
不得不說，智能駕駛產(chǎn)業(yè)是非常龐大的，產(chǎn)業(yè)鏈非常長。
傳感器產(chǎn)業(yè)自不必說，相機、激光雷達、毫米波雷達、慣導、GPS……本身就是很長的產(chǎn)業(yè)鏈。
而切入ADAS產(chǎn)業(yè)的公司更是數(shù)不勝數(shù)，他們做系統(tǒng)監(jiān)測、環(huán)境監(jiān)測、顯示輔助以及主動安全等功能，這一塊進入比較快，門檻也沒那么高。
控制產(chǎn)業(yè)則包含了決策系統(tǒng)、轉向、制動、電源控制器等細分領域?，F(xiàn)在國內在制動系統(tǒng)方面幾乎是空白，所以這是很多創(chuàng)業(yè)公司的機會。
同時，智能駕駛行業(yè)絕對不只有乘用車，貨車、巡邏車、清掃車、礦山車等都可以應用智能駕駛技術。
當然，有了海量的智能駕駛傳感器數(shù)據(jù)，對于將來的交通、保險業(yè)、呼叫中心、汽車救援等工作都大有裨益，而這也是云計算和大數(shù)據(jù)可以施展功夫的空間。
最后，分享一下清華猛獅團隊在智能駕駛方面的一些實踐工作。
從2009年開始，清華猛獅團隊投入到飛思卡爾的微縮車平臺的研發(fā)中；到2012年，團隊開始做自動駕駛的轎車和客車。
在智能駕駛小車方面，團隊主要是在硬件和軟件方面做了一些工作。
上圖是張新鈺團隊研發(fā)的智能駕駛小車的模型。它由GPS、接收機、慣導、激光雷達、工控機、相機、電池組成，同時有它自己的控制系統(tǒng)。
針對轎車平臺，清華猛獅也有自己的一套方案。
在這輛自動駕駛汽車成型前，團隊對其進行了一番系統(tǒng)的改造，其中包括了對車輛制動、油門、轉向、電氣系統(tǒng)的“革命”。
張新鈺表示，這些改裝方案都是團隊自己在做，其實是個手工方案，不是很工業(yè)化的方案，只能臨時用。他透露，改造一套轉向系統(tǒng)大概需要二三十萬人民幣。
經(jīng)過一番改造后，清華猛獅智能車的方案最終成型：
張新鈺表示，這套設備的價格大概為20-30萬人民幣，已經(jīng)屬于很便宜的方案。
這輛自動駕駛汽車目前可以實現(xiàn)以下功能：
除去小車和轎車，清華猛獅團隊也在進行自動駕駛客車的研發(fā)，主要是和宇通客車進行合作。
2015年8月29日，這輛自動駕駛客車在鄭開大道上成功完成路測，測試里程約32km，含27個路段、26個路口和26個紅綠燈，路段內均為直道，限速 80km/h。有意思的是，當時《連線》對這次測試進行了報道，宇通的股票還因此大漲。目前，團隊和宇通還在無人駕駛快速公交領域進行合作。
除此之外，張新鈺和他的團隊還和京東和百度展開了合作。
車輛改裝其實是張新鈺非常看重的領域，目前國內相關公司還不多，業(yè)內較為知名的是美國的 AutonomouStuff，曾幫助谷歌和百度改裝自動駕駛汽車。他覺得國內的創(chuàng)業(yè)公司、研究團隊可以在該領域施展身手。
如今，張新鈺和他的清華猛獅團隊依然在智能駕駛汽車的研發(fā)道路上行進，期待未來有更多成果能應用到工業(yè)界，為國內智能駕駛發(fā)展增添動力。
*文中PPT由張新鈺提供給雷鋒網(wǎng)新智駕
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
