近日，黑芝麻智能A1000芯片基礎(chǔ)軟件開發(fā)在線研討會在順利完結(jié)直播。研討會由黑芝麻智能李坤、中興通訊李玉鵬兩位技術(shù)專家主講，主題分別為《視覺感知數(shù)據(jù)流在A1000平臺上的基礎(chǔ)軟件開發(fā)》，以及《中興車用操作系統(tǒng)SafetyLinux在A1000平臺上的適配》。
本文是中興通訊李玉鵬的主講實(shí)錄整理
李玉鵬：大家下午好，我是李玉鵬，來自中興通訊汽車電子，負(fù)責(zé)車用操作系統(tǒng)及基礎(chǔ)軟件規(guī)劃。今天分享的主題是中興通訊車用操作系統(tǒng)SafetyLinux在黑芝麻智能華山二號A1000平臺上的適配。
中興車用操作系統(tǒng)SafetyLinux
與黑芝麻智能華山二號A1000芯片的匹配
首先，簡單說明下我們?yōu)槭裁匆鲞@個適配工作。大家知道，其實(shí)黑芝麻智能A1000芯片配套有對應(yīng)的SDK和相應(yīng)的材料，而SDK的默認(rèn)目標(biāo)硬件是黑芝麻智能配套提供的評估板。但在實(shí)際的應(yīng)用環(huán)境中，不同的域控會有不同的要求和配置，同時對底層的操作系統(tǒng)、軟件也有對應(yīng)的要求，這也就需要有第三方的操作系統(tǒng)能夠適配黑芝麻智能A1000平臺。
到這里，中興SafetyLinux適配黑芝麻智能A1000平臺的基礎(chǔ)工作就做完了。
中興車用操作系統(tǒng)與黑芝麻智能華山二號A1000合作案例
上面這張圖展示的就是我們的合作方案架構(gòu)。可以看到，架構(gòu)底層是單顆黑芝麻智能A1000 SoC芯片，同時搭載了高性能MCU，來做智駕L2+的行車NOA和停車位的泊車功能。智能外設(shè)采用了5R10V的配置，此外還有其他的關(guān)聯(lián)部件和外設(shè)。
在黑芝麻智能A1000 SoC芯片（A核）上部署的是中興SafetyLinux操作系統(tǒng)，采用的是LTS長效演進(jìn)分支5.10的大版本，支持RT補(bǔ)丁，同時融合了中興針對車輛場景在計算、內(nèi)存、存儲、文件系統(tǒng)、網(wǎng)絡(luò)、維測、容器等方面的增強(qiáng)功能在里面。
在方案架構(gòu)的基礎(chǔ)軟件層，包含了AUTOSAR AP/CP、DDS、SOA功能框架和功能安全監(jiān)控框架等。
應(yīng)用層則包含了第三方和OEM合作伙伴一起實(shí)現(xiàn)的智能駕駛的業(yè)務(wù)應(yīng)用，比如前面提到的行車、泊車輔助等。
以上是中興SafetyLinux和黑芝麻智能A1000整體合作方案的簡單介紹。
在這個方案里，最核心的功能之一是底層智能外設(shè)的驅(qū)動適配。從上圖也可以看到，主要的外設(shè)是攝像頭，當(dāng)然也包括雷達(dá)、GNSS、IMU等設(shè)備沒有體現(xiàn)出來，這些也是整個系統(tǒng)需要接入進(jìn)來的。此外，NorFlash、eMMC和以太網(wǎng)的驅(qū)動也要去集成。
在攝像頭的驅(qū)動集成里，除了攝像頭本身，板端攝像頭對應(yīng)的解串器的集成和適配，以及對應(yīng)設(shè)備樹的配置，也是我們重點(diǎn)要做的工作。除此之外，剛才提到的GNSS、IMU時間同步的外設(shè)和流程集成支持，以及安全啟動框架ATF和uboot的集成。還有其他外設(shè)的集成，比如毫米波雷達(dá)等，但是這個集成可能是在不同的SoC或MCU上進(jìn)行。以上就是整個案例中智能外設(shè)的集成和適配配置。
除了底層的驅(qū)動之外，還有黑芝麻智能ISP 、AI框架和第三方組件的集成，這個也是必須的。因?yàn)樽鳛榈讓拥幕A(chǔ)軟硬件平臺，要為上層的應(yīng)用以及基礎(chǔ)軟件框架提供必要的支撐。
黑芝麻智能ISP和AI框架主要包括圖像變換加速庫、視頻編碼庫、深度學(xué)習(xí)庫、相機(jī)ISP處理庫、IPC通信庫、顯示庫、GPU驅(qū)動庫等，當(dāng)然也包含黑芝麻智能AI算子庫的集成。這些庫有些也是黑芝麻智能核心的自主知識產(chǎn)權(quán)，對外以庫的形式發(fā)布。
在和中興的SafetyLinux集成過程中，為了保證內(nèi)核代碼和程序的一致性，我們也請黑芝麻智能基于中興的OS工具鏈對這些庫進(jìn)行編譯，這一點(diǎn)得到了黑芝麻智能很好的支持和配合。
在第三方庫的集成方面，包括基礎(chǔ)軟件庫、基礎(chǔ)軟件框架需要的第三方庫，融合感知、規(guī)劃控制以及泊車業(yè)務(wù)涉及到的相關(guān)第三方庫。
這些第三方庫，在中興SafetyLinux集成的時候都會做安全治理。所謂安全治理，就是對第三方庫，尤其是開源庫的安全漏洞進(jìn)行掃描，然后對必要的庫進(jìn)行打補(bǔ)丁或者進(jìn)行安全加固的修改。在修改的基礎(chǔ)上再做通用化或者基本的集成測試，這是中興SafrtyLinux需要做的一些事情，來保證集成的庫在整個操作系統(tǒng)平臺上能夠得到正確的應(yīng)用，不會存在安全漏洞或者基層功能的bug，從而為上層應(yīng)用開發(fā)提供比較好的支持。
這一頁是中興SafetyLinux和黑芝麻智能A1000在智駕合作案例中取得的一些效果，特別是攝像頭出圖效果的展示。
上面這一列是攝像頭的驅(qū)動集成之后，通過攝像頭的出圖效果來判斷功能、驅(qū)動和相關(guān)組件的集成結(jié)果是否正常。
從這個圖上能看到我們在周視攝像頭和環(huán)視攝像頭上都有比較好的出圖效果。當(dāng)然在不同的外部環(huán)境下，比如在室外比較好光照情況下，或者室內(nèi)比較陰暗的場景下，周視和環(huán)視也都有比較好的出圖效果。
這里在攝像頭的初始結(jié)果里面，一些裁剪或者畸變校正等處理也是基于黑芝麻智能提供的軟件組件來實(shí)現(xiàn)的。從這張圖片我們能夠看到也都做到了比較好的集成，并取得了比較好的效果。
下面一排是更上層的應(yīng)用。我們基于YOLOv5模型樣例，來做AI感知和推理的效果驗(yàn)證與測試。從攝像頭的圖像和交通視頻流的圖像識別大家可以看到，無論是普通的物體或者道路上的車輛都能做很好的識別。
這也說明了中興SafetyLinux和黑芝麻智能A1000的基礎(chǔ)軟件平臺，對上層組件的集成和業(yè)務(wù)的支持都取得較好的成果，能夠很好地支撐上層應(yīng)用的開發(fā)。
中興車用操作系統(tǒng)產(chǎn)品規(guī)劃及解決方案
這里再簡單介紹下中興的車用操作系統(tǒng)。
今天我們主要介紹的是中興的SafetyLinux。其實(shí)中興在底層OS方面有比較完整的布局，包括微內(nèi)核操作系統(tǒng)，SafetyLinux系統(tǒng)，還有虛擬化Hypervisor以及配套的工具鏈。通過這三種產(chǎn)品的組合，我們能夠比較好的形成智能駕駛、智能座艙和智能車控的OS解決方案，也為車端典型場景應(yīng)用提供比較好的底層支撐。
此外，中興的微內(nèi)核操作系統(tǒng)也和黑智能智能A1000平臺做了很好的生態(tài)適配對接，目前已做到AI感知推理全流程的打通，并取得了較好的效果。這也得益于黑芝麻智能團(tuán)隊(duì)和硬件平臺對中興很好的支持。
最后我再簡單補(bǔ)充一點(diǎn)，就是中興對于智能駕駛操作系統(tǒng)解決方案的理解。
其實(shí)除了中興SafetyLinux與黑芝麻智能A1000共同打造的智能駕駛解決方案，我們還有其他的智能駕駛操作系統(tǒng)解決方案。
比如上圖右側(cè)展示的組合監(jiān)控方案。該方案主要是從SafetyLinux功能安全增強(qiáng)的角度來考慮的。因?yàn)橹信d微內(nèi)核操作系統(tǒng)已經(jīng)通過了ISO26262 ASIL-D的管理流程和產(chǎn)品認(rèn)證，能夠提供比較好的功能安全認(rèn)證的基礎(chǔ)條件，而通過這種組合監(jiān)控可以進(jìn)一步提升整個智駕解決方案的功能安全特性。
在長遠(yuǎn)的方案發(fā)展層面，中興也有自己的思路。我們分析將來會基于增強(qiáng)的微內(nèi)核來做智能駕駛底層OS的承載，主要是考慮將來高階自動駕駛下對公共安全要求必將大大提升。中興微內(nèi)核操作系統(tǒng)本身可以做到ASIL-D的功能安全要求，這樣它就有條件為整個智能駕駛底層OS方案或整個智駕方案，提供一個比較好的或者有條件做到高功能安全等級的要求，這也是中興對智能駕駛演進(jìn)的基本思路。
今天的分享就是這些，謝謝大家。
