近日，黑芝麻智能聯(lián)合智猩猩策劃的車路云一體化專場公開課順利完結(jié)。黑芝麻智能項目經(jīng)理楊洋博士以《本土車規(guī)級算力平臺的車路云一體化路側(cè)解決方案與應(yīng)用》為主題，從五個層面進(jìn)行了全面深入的講解。本文是黑芝麻智能楊洋的主講實錄整理。

楊洋：大家好，我叫楊洋，來自黑芝麻智能的車路運(yùn)營業(yè)務(wù)部門，非常感謝大家來參加此次智猩猩公開課黑芝麻智能車路云一體化專場。也感謝智猩猩提供的平臺，很榮幸有機(jī)會能夠給大家?guī)磉@次分享，希望能在交流中向大家多多學(xué)習(xí)。
我今天分享的主題是《本土車規(guī)級算力平臺的車路云一體化路側(cè)解決方案與應(yīng)用》。

先簡單介紹下我們公司。黑芝麻智能成立于2016年，并于今年8月8日在港交所主板掛牌上市。黑芝麻智能致力于在智駕、車路協(xié)同、AVP主動安全等領(lǐng)域，提供基于芯片的全棧解決方案。車路協(xié)同是黑芝麻智能著力的九大業(yè)務(wù)方向之一。

今天的講解，我將從方案背景、方案介紹、核心技術(shù)、行業(yè)應(yīng)用及落地案例5個方面，為大家介紹黑芝麻智能的車路云一體化路側(cè)方案和應(yīng)用。

首先介紹下車路云一體化方案的背景和來源，包括車路云一體化當(dāng)前面臨的痛點問題，以及我們做這件事的目標(biāo)是什么。

2009年被普遍認(rèn)為是中國車聯(lián)網(wǎng)發(fā)展元年，雖然依托技術(shù)發(fā)展來實現(xiàn)產(chǎn)業(yè)布局的腳步一直沒有停止，但在行業(yè)復(fù)用、自主閉環(huán)、應(yīng)用落地上仍然面臨著很多挑戰(zhàn)。比如由于國產(chǎn)化低，自主知識產(chǎn)權(quán)的芯片比較少，在數(shù)據(jù)安全層面，尤其是智慧交通領(lǐng)域，高度依賴進(jìn)口芯片導(dǎo)致數(shù)據(jù)安全風(fēng)險極高。

在政策行業(yè)的刺激下，網(wǎng)聯(lián)、車路協(xié)同項目以井噴的態(tài)勢爆發(fā)，各地建設(shè)投入的積極性很高。但夸張點講，針對某一特定的場景進(jìn)行0～1的開發(fā)，在某些程度上會導(dǎo)致軟硬件產(chǎn)品，尤其是硬件產(chǎn)品在行業(yè)的復(fù)用性非常低。

目前網(wǎng)聯(lián)車的滲透率還比較低，導(dǎo)致產(chǎn)生了一種有建設(shè)無應(yīng)用的現(xiàn)狀。我們看到很多城市的確是有網(wǎng)聯(lián)車的建設(shè)布局，比如說北上廣一線城市以及武漢、成都等省會城市，但是當(dāng)下大家普遍的感知是，示范項目全部是區(qū)域性建設(shè)，覆蓋有限，加上網(wǎng)聯(lián)車的總體占比不高，導(dǎo)致大家對建設(shè)成果的直觀感知仍然比較少。同時，由于復(fù)用難，導(dǎo)致行業(yè)應(yīng)用效果比較弱，公眾感知方式比較局限。這些都是當(dāng)前行業(yè)面臨的困境，或者說從業(yè)者的一些疑惑。

對于我們來說有價值的事情，就是理清行業(yè)痛點問題并解決它。

以智能交通場景為例，面臨著交通時空資源利用不充分、交通管控科技化手段不足、交通流動態(tài)誘導(dǎo)能力欠缺，以及普遍缺乏持續(xù)的優(yōu)化運(yùn)營4大痛點。

針對這些痛點，黑芝麻智能利用交通管控全域感知解決方案，使車、路、云、控實時交互，實現(xiàn)超視距事件感知、實時流量監(jiān)測和實時交通誘導(dǎo)，從而達(dá)成及時發(fā)現(xiàn)、及時預(yù)防、及時報警、及時處置4大目標(biāo)。

基于上述背景，黑芝麻智能提供了一套基于邊緣算力平臺的車路協(xié)同路側(cè)解決方案。

從建設(shè)的角度來看，路側(cè)方案可以分為平臺層、網(wǎng)絡(luò)層和道路層三個層面。目前黑芝麻智能著力建設(shè)的方向偏向于道路層。

我們的建設(shè)思路首先是立足7個主要的應(yīng)用場景，包括城市物流配送、場外無人環(huán)線物流、大規(guī)模互聯(lián)互通、城市出行服務(wù)、RoboTaxi商業(yè)運(yùn)營、城市共享觀光以及廠區(qū)物流配送；其次是面向4類重點需求，比如交通安全、交通效率、交通服務(wù)以及輔助自動駕駛。

路側(cè)方案總體邏輯架構(gòu)如上圖所示，利用終端感知能力，融合5G、車路協(xié)同、多元感知融合、高精定位、邊緣計算、數(shù)據(jù)處理等技術(shù)能力，把結(jié)構(gòu)化的數(shù)據(jù)或數(shù)據(jù)流推向平臺層，實現(xiàn)基礎(chǔ)層和應(yīng)用層的解耦，這樣使得場景多元化，同時能夠更好地滿足不同場景的差異化服務(wù)需求。

下面我將結(jié)合三類主要的場景來為大家介紹車路協(xié)同路側(cè)方案框架。

第一類是交通管控全域感知解決方案。路側(cè)感知設(shè)備以電警卡口、毫米波雷達(dá)為主，感知數(shù)據(jù)通過路測MEC的融合計算推送到云端平臺。然后平臺將數(shù)據(jù)與地圖引擎、數(shù)據(jù)引擎進(jìn)行融合，實現(xiàn)道路交通主體的動態(tài)數(shù)字孿生。車端則通過4G/5G Uu獲取網(wǎng)絡(luò)播報信息。

該方案的主要應(yīng)用于交管業(yè)務(wù)，比如智能信控、事故預(yù)防，交通組織優(yōu)化、可變車道控制，以及違法打擊等。根據(jù)業(yè)務(wù)的具體需求，方案覆蓋方式可以分為全息路口和全息路網(wǎng)。

第二類是面向L4自動駕駛、網(wǎng)聯(lián)示范解決方案。該方案在路側(cè)增加了激光雷達(dá)來提供點云數(shù)據(jù)，同時加上RSU；在車載端，通過OBU和5G模塊接收信號，實現(xiàn)V2X通信。這個方案主要面向車路協(xié)同、車車協(xié)同，同時也可以滿足交管業(yè)務(wù)的需求。

第三類是高速全天候通行系統(tǒng)解決方案。高速場景相對來說比較簡單，該方案的主要意義在于為高速場景下的交通參與者提供超視距的感知能力。

感知設(shè)備主要是電警卡口和毫米波雷達(dá)，通過路側(cè)MEC的融合計算，實現(xiàn)道路交通主體的動態(tài)數(shù)字孿生。在與車端的交互上，也是通過RSU、OBU、5G來實現(xiàn)車路協(xié)同、車車協(xié)同，提高特殊天氣下的高速場景通過能力。

硬件設(shè)備的點位分布的密度，可以根據(jù)實際的高速路況來部署。比如路況視野非常好的情況下，可以用1000米的點位距離，如果遇到事故多發(fā)路段、隧道等場景，可以增大點位密度，比如200米的點位間距，同時也可以根據(jù)實際的投入成本來做考量。

一般來說路口的硬件配置類型是差不多的，主要包括桿件、電柜、電箱、感知設(shè)備（相機(jī)、雷達(dá)、激光雷達(dá)）、交換機(jī)、MEC、RSU、線束等，也可以根據(jù)具體的場景需求進(jìn)行增減。

但外場的部署方案一般來說通用性不強(qiáng)，取決于具體的點位特征，需要考慮路口形態(tài)（十字路口、丁字路口、L型路口、Y型路口等）、車道寬度、車道數(shù)、綠化帶位置以及桿件位置等，這些因素對外場的部署影響會比較大。

以常見的十字路口為例，相機(jī)一般布置在電警桿上，朝向路口照射，相機(jī)的焦距選型跟干道路進(jìn)路口的停止線的距離對應(yīng)。比如電警桿到停止線的距離如果是25米到30米的范圍，從實際經(jīng)驗來看一般會采用16毫米焦距的相機(jī)，這樣可以獲得最佳的視場，有需要的話也可以用魚眼相機(jī)實現(xiàn)盲區(qū)的補(bǔ)盲。如果路口中間出現(xiàn)盲區(qū)，可以利用對向的車道反向電警來補(bǔ)盲。

雷達(dá)的部署要看具體情況，如果隔離帶較矮且不形成障礙，一般放置在電警桿上，并且盡量靠向路口的中央。如果隔離帶較高且形成了障礙，雷達(dá)可以放置在進(jìn)口道對向的紅綠燈燈桿上。

路段的部署相對來說比較簡單，如果桿距較小的話，可以采用追打的方式，也比較經(jīng)濟(jì)。如果桿距較大，可以用背對背互相補(bǔ)充的方式，來實現(xiàn)全路段的覆蓋。

我們在核心產(chǎn)品MEC的開發(fā)中，結(jié)合方案經(jīng)驗和實際的項目經(jīng)驗，也積極做了一些能力的提升和規(guī)格參數(shù)的約束，以指標(biāo)效果為目標(biāo)，推動路側(cè)算力需求的合理化。

比如提高M(jìn)EC的視頻結(jié)構(gòu)化處理能力，至少單算力芯片4路900萬像素的圖像達(dá)到25Hz的檢測頻率。其次在外場布置方向也做了一些努力，比如合理規(guī)劃檢測區(qū)域，充分發(fā)揮感知設(shè)備的覆蓋能力，盡可能減少數(shù)設(shè)備數(shù)量，杜絕設(shè)備堆疊和小鳥桿的情況出現(xiàn)。

還有就是優(yōu)化算法，降低算力的占用，在實際部署時也會兼顧應(yīng)用和拓展需求，預(yù)留算力冗余，但一般會控制在50Tops以下。

在硬件設(shè)計方面，我們兼顧了一些工況和耐久性的考量。比如考慮到中國南北方季節(jié)氣溫差異大的情況，我們將設(shè)備的允許工作溫度做到了-40~75攝氏度。

目前黑芝麻智能車路云一體化路側(cè)解決方案可以輸出63項指標(biāo)、200多項參數(shù)，基本覆蓋了目標(biāo)檢測、軌跡跟蹤、交通參數(shù)檢測、交通事件檢測4大類的絕大部分場景。

同時我們在研發(fā)和參與項目的過程中，也積極參與路測算法指標(biāo)的相關(guān)標(biāo)準(zhǔn)編制，著力推動行業(yè)指標(biāo)的發(fā)展和完善。

Best Road是黑芝麻智能面向智慧城市、智慧公路等多場景打造的路側(cè)邊緣計算解決方案，其能力和使命是完善路側(cè)感知平臺，為智慧公路、智慧城市充分賦能。

Best Road依托黑芝麻智能自有的核心技術(shù)，包括強(qiáng)大的實時計算芯片，以及搭載自研芯片的邊緣計算單元MEC（我們叫它KOOSENS-1000B）、多場景圖像處理能力和自研感知算法。

A1000芯片是本土首個符合所有車規(guī)認(rèn)證，是目前唯一能量產(chǎn)的單芯片。A1000支持行泊一體與控制器的芯片平臺，還是目前國內(nèi)最成熟、量產(chǎn)車企最多的自動駕駛芯片。A1000集成了CPU、GPU、ISP、DSP和NPU等多個功能模塊，能滿足多種計算功能需求。

上圖所示的黑盒子，是黑芝麻智能自研的一款MEC KOOSENS-1000B，搭載A1000芯片，整機(jī)物理規(guī)格小巧，適用的工況條件很寬，并且通過了車規(guī)級認(rèn)證，整機(jī)的國產(chǎn)化率不低于90%。在能力方面，MEC KOOSENS-1000B可以并行解析4路900萬視頻，幀率不小于25Hz，同時它兼容性很強(qiáng)，支持2*128線機(jī)械式或4*80線半固態(tài)激光雷達(dá)的點云數(shù)據(jù)前融合解析。

MEC KOOSENS-1000B的感知精度也比較高，可以實現(xiàn)車道級定位跟蹤，位置誤差小于50厘米，方向角誤差一般不超過5度，目標(biāo)識別率、軌跡準(zhǔn)確率以及事件準(zhǔn)確率都大于95%。延時相對來說也比較低，感知檢測時間小于300毫秒，V2X通訊時延小于50毫秒，算力占用率一般小于50%，同時我們也預(yù)留了適當(dāng)?shù)乃懔θ哂啵瑸槲磥碇悄苄趴亍⒋竽Ｐ偷冗吘売嬎銘?yīng)用預(yù)留了一定的空間。

在視覺圖像感知方面，A1000本身具備強(qiáng)大的圖像處理能力，還把傳統(tǒng)的ISP技術(shù)和深度學(xué)習(xí)進(jìn)行融合。深度學(xué)習(xí)的能力就得益于A1000芯片搭載的NPU本身功耗低、延時低、計算能力強(qiáng)大、數(shù)據(jù)吞吐帶寬高，加上黑芝麻智能自研算法的加持，可以使視覺感知變得更聰明、更智能。

前面提到黑芝麻智能路側(cè)解決方案可以輸出的63項指標(biāo)、200多項參數(shù)。路側(cè)算法包含基礎(chǔ)感知、目標(biāo)檢測、軌跡跟蹤、交通參數(shù)、交通事件等絕大部分場景。所有大類里面的細(xì)分case，我們也在不斷地豐富和完善。除此之外還覆蓋了交通態(tài)勢的研判，可以滿足L4級自動駕駛、智能網(wǎng)聯(lián)、智慧交管、城市管理、智慧高速等行業(yè)的應(yīng)用需求。

另外，通過黑芝麻智能自研的融合感知算法，可以實現(xiàn)視頻質(zhì)量的自我診斷，比如掉線、黑屏、模糊、遮擋、亮度異常，以及條紋異物遮擋的識別等，可以及時發(fā)現(xiàn)視頻的質(zhì)量問題并上報，減少設(shè)備不work的時間，避免可能出現(xiàn)關(guān)鍵數(shù)據(jù)采集不到的情況。

黑芝麻智能也非常重視技術(shù)的積累，比如數(shù)據(jù)沉淀，純研發(fā)投入在數(shù)據(jù)采信和數(shù)據(jù)閉環(huán)的占比上也是非常高的。

我們將端側(cè)大量采集的樣本數(shù)據(jù)，給到算力中心，對數(shù)據(jù)進(jìn)行預(yù)處理標(biāo)注，然后給到算法訓(xùn)練，再回流到端側(cè)去再應(yīng)用，之后再進(jìn)行循環(huán)，從而形成一個完整的閉環(huán)。因此，我們數(shù)據(jù)庫的場景類型也比較豐富，并且對于一些Corner Case的關(guān)注相對來說也是比較全面的。

大家可以看下上圖展示的基礎(chǔ)應(yīng)用場景，我這里放的不全。可以看到基礎(chǔ)應(yīng)用場景的覆蓋已經(jīng)非常全面了，基本上cover了現(xiàn)在常見的場景需求。這里寫的是移動端、車端的發(fā)布，在平臺端也是一樣的。

下面來看幾個具體場景的例子。

第一個場景是交管全息路口/路網(wǎng)，復(fù)用了路側(cè)的電警/卡口攝像機(jī)，圖像或視頻流在邊緣端MEC上進(jìn)行數(shù)據(jù)融合處理，實現(xiàn)路口路網(wǎng)的全息展示。

我們在MEC上部署了大概18項交通參數(shù)的檢測算法，19項交通事件及違法行為的檢測算法，還有像人機(jī)非的鬼探頭、視界三角盲區(qū)等情況。此外，還可以通過軌跡沖突的預(yù)測進(jìn)行事故預(yù)警，降低事故率。

在此基礎(chǔ)上，我們也協(xié)同一些生態(tài)廠商來實現(xiàn)信控的前端自適應(yīng)，比如動態(tài)綠波速度、可變情報板控制等，在緩解交通擁堵和交通流的主動管控上都起到了非常好的效果。

軌軌跡預(yù)測和沖突點報警是一種預(yù)防性的功能措施，也是我們之前比較關(guān)注的。該功能根據(jù)交通參與者運(yùn)行的狀態(tài)數(shù)據(jù)，預(yù)測其未來一定距離、時間內(nèi)的運(yùn)行軌跡，如果預(yù)測結(jié)果中出現(xiàn)沖突點，就會向交通參與者或平臺發(fā)布預(yù)警，提示減速慢行。該功能可以把視距離三角形、鬼探頭這樣的突然入侵行為造成的交通事故率，下降50%左右。

另外一個場景是非燈控路口的事故預(yù)防，針對平交路鬼探頭沖進(jìn)主路和彎道視距三角形盲區(qū)兩種情況，和軌跡預(yù)測沖突點的預(yù)警相類似，也是通過車輛信息的軌跡檢測，對交通沖突進(jìn)行預(yù)警。發(fā)布端可以通過可變情報板和揚(yáng)聲器對交通參與者進(jìn)行發(fā)布，從而起到警醒和降低事故率的作用。

AI事故還原功能基于全息路口，可以實現(xiàn)實時事故上報、錄像回看、數(shù)據(jù)自動標(biāo)注/提取、三維孿生還原、自動繪制現(xiàn)場等功能，一般推送到移動端或者交管平臺。該功能有希望將平均事故上報的時間降低至5秒，平均事故處置時間降低50%。

第五個實踐場景是全息停車場APP，通過全息感知識別目標(biāo)經(jīng)緯度，車位信息實時檢測，實現(xiàn)自動駕駛車的一鍵泊車和自主接駕，可以解決地庫尋車難、停車效率低的問題。大家日常感知比較深的就是在地庫里，人車混流、急轉(zhuǎn)彎、盲區(qū)較多，聲音也比較嘈雜，情況復(fù)雜，該功能可以在一定程度上可以減少這方面的潛在風(fēng)險。

第六個場景是全息高速，也是一個非常好的應(yīng)用場景，對車路協(xié)同也是有迫切需求的場景。

高速上不僅車速快，而且路況多變，比如因為車速快導(dǎo)致視距要求不足，轉(zhuǎn)彎路段的視覺盲區(qū)，隧道出入口光線的突然變化，還有上下坡視覺盲區(qū)，以及極端天氣的影響等。

在上述場景下，車路協(xié)同可以提供超視距解決方案，且理論上沒有距離限制，可以對前方無限制距離的路況進(jìn)行實時播報。一方面提高主動安全警示作用，降低事故率，另一方面可以給交通參與者提供超視距之外的路況信息，讓駕駛者更有信心，一定程度上降低因車速引起的局部堵塞情況。

匝道分流、合流是事故高發(fā)區(qū)域。開車的朋友都知道，匝道是一個有大量并道事件發(fā)生的地方，尤其是合流的情況，即便少部分的車道比較寬裕，會預(yù)留緩沖的交通線，或者是直接預(yù)留一個車道，但是對于主、輔路的車輛，尤其是主路的車輛來說，一般車速還是比較快的，很難觀察到對方。該解決方案可以通過軌跡檢測，對潛在的交通沖突進(jìn)行預(yù)警，通過情報板，或者警示燈對車輛、人員進(jìn)行預(yù)警播報，從而將潛在風(fēng)險降到最低。

下面給大家分享一些我們做的落地案例。

這是我們在某地的一個常規(guī)十字路口落地案例，有60個路口的體量。這里展示的一個是比較典型的十字路口，我們采用4相機(jī)+4雷達(dá)的方案，對路口進(jìn)行實時的交通參數(shù)和實時事件的檢測。

從客戶平臺端展示的效果可以看到，交通參與者的軌跡以及信息展示的效果還是非常不錯的。視頻后半部分大家可以看到一個異常事件，旁邊的播報板會對動態(tài)的實時事件進(jìn)行滾動播報。

這個視頻展示的是我們在某地的一個高架橋下的路口案例。大家可以看到畫面標(biāo)注的情況，以及人機(jī)非的檢測效果。

這是客戶平臺上呈現(xiàn)的全息展示效果，包括交通流量趨勢、實時入口狀態(tài)信息，都可以在平臺上看到，右下角可以看到滾動的事件播報。

這個視頻展示的是我們在某地的機(jī)械式激光雷達(dá)加攝像機(jī)的全息入口案例。大家從視頻中可以看到包括行人、機(jī)動車和非機(jī)動車的檢測效果。

今年7月份，黑芝麻智能交付了一個全息匝道純視覺方案，首次實現(xiàn)了開放道路條件下的自動駕駛。這是一個純視覺方案，車端完全采用路側(cè)數(shù)據(jù)進(jìn)行合流變道的決策。

這是一個沒有電警桿，我們?yōu)榱死f，在信號燈桿上部署槍球一體機(jī)的方案。從視頻中可以看到，它的視場是對著對向進(jìn)口道的，不是對著對向的出入口道。即便是這樣一個妥協(xié)的方案，實際的3D入口效果可以看到也是不錯的。

這是一個高速場景下，使用龍門架卡口相機(jī)利舊感知方案，融合了我們自己采集的高精地圖，大家可以通過視頻看下最終效果。

好的，以上就是我今天分享的全部內(nèi)容，謝謝大家。