近日，黑芝麻智能A1000芯片基礎軟件開發在線研討會在順利完結直播。研討會由黑芝麻智能李坤、中興通訊李玉鵬兩位技術專家主講，主題分別為《視覺感知數據流在A1000平臺上的基礎軟件開發》，以及《中興車用操作系統SafetyLinux在A1000平臺上的適配》。
本文是黑芝麻智能李坤的主講實錄整理
李坤：非常感謝智猩猩平臺提供了這次和大家共享黑芝麻智能華山二號A1000芯片基礎軟件技術的機會。接下來我會來向大家介紹視覺感知數據流在A1000平臺上的基礎軟件開發方面的內容。
A1000芯片SoC硬件加速器及其功能
這是一個A1000芯片的大體框架。從這里來看，整個A1000芯片的架構是非常清晰的，有中央處理器、視覺DSP及CV硬件加速引擎、 NN的加速引擎等，還有一些高速接口、視頻的接入接口、ISP等。從整個框圖來看，和ADAS視頻處理流有關的是從前端MIPI輸入，接著ISP處理；再往后走是視覺DSP加速，還有一些其他與視覺相關的硬件加速器；最后再送到深度學習NN引擎中。從NN引擎出來的是感知結果，可以通過以太網或者CAN信號，把感知結果傳出去。
ISP處理引擎，計算機視覺加速器（CV的硬件加速），DSP（用戶可編程的視覺處理DSP，有很多可調用的視覺函數庫），神經網絡NPU，ARM中央處理器（整個鏈路的調度），GPU（做泊車類的拼接、渲染），視頻編解碼加速器（做 DVR或EDR的視頻編解碼）。關于接口類，有MIPI（攝像頭接入），千兆以太網（輸出感知結果），PCIe（高速數據傳輸），USB。USB2.0接口經常用來做調試，USB3.0可以在數據采集的時候接USB的移動硬盤。其他的接口，CANFD、SPI、UART是一些業界常用的SoC低速接口。再重點提一下每個加速器在基礎軟件開發當中有什么功能？
首先是ISP。其中一個最基本的功能就是，攝像頭模組的原始圖像數據進來以后，把它處理成后端最常用的NV12格式。除此之外，ISP還可以對原始圖像進行縮放，比如輸入的是1080p，如果后端需要720p的輸出，我們也可以通過ISP本身做縮放。還有裁剪功能，假如原始輸入是2.5M的圖像（分辨率是1920×1280），我們可以把原始圖像做些裁剪，裁成1920×1080輸出，這是ISP本身可以做的事情。
第二個硬件加速器模塊是視覺加速。它是一個計算機視覺(Computer Vision)的硬件加速模塊。我們最常用的幾個功能：顏色空間轉換（比如RGB到NV12）、去畸變、縮放、裁剪，以及圖像金字塔等，這些都是可以通過這個模塊實現的。A1000 SoC內部有4個視覺處理DSP。它主要是用來做視覺加速的，提供了很多視覺圖像處理的函數供用戶二次開發使用。現在項目中比較常用的功能，包括顏色格式轉換、DMA搬運，以及客戶基于DSP開發的算法后處理算子、激光雷達感知算法的算子等。NPU是黑芝麻智能自研的一個神經網絡處理加速器，包括卷積、矩陣乘、非線性計算等。低功耗ARM處理器說的是A1000芯片內的8核應用處理器（Application CPU）。每個核運行在1.5G的頻率上，主要是做系統調度，算法的前處理、后處理等。GPU目前在項目中最常用的幾個用途，有BEV圖像的拼接、普通2D圖像的拼接、AVM 3D的渲染等。視頻編解碼加速器，支持H264/H265、MJPEG等格式的編碼和解碼，一般用來做數據采集、行車記錄儀、汽車的黑匣子（EDR）等。這些都是剛才說的A1000 SoC相關的硬件架構。
從軟件平臺來說，黑芝麻智能提供了比較靈活的軟件配置。黑芝麻智能A1000平臺提供QNX SDK、Linux SDK、 ATF 、Open-TEE等組件。其中Linux、 ATF、Open-TEE都是源碼開放的，源碼都在A1000的SDK包里。A1000平臺的QNX7.1的BSP包，需要在黑莓的官方下載。A1000 SoC內有一個鎖步的MCU核，做A1000芯片級別的監控和故障上報，和視覺、視頻流處理沒有直接聯系。黑芝麻智能提供的A1000 SDK包里，包含了用于這個MCU核的FreeRTOS SDK。A1000 SoC內的4個視覺DSP，客戶可以通過開發使用DSP算子，優化系統實現。黑芝麻智能提供了一套調用框架（RCall SDK），由應用處理器調用DSP的算子功能。
以上是嵌入式板端的，接下來介紹一下PC端最常用的開發工具鏈。
比如我們拿到一個板子以后，要把系統最小鏡像燒錄到板子，然后開始調試板子的基礎軟件；調試板子的應用時，統計系統的性能數據，通過USB或以太網傳到PC上分析；在線調試一些Linux應用程序，這些都是這套PC開發工具提供的功能。深度學習山海工具鏈是一個很大的topic，這里面我就不細講，大概提一下。它其實是一個很大的范圍，包括神經網絡模型的量化，深度學習算法的適配，算子運行效率的優化，諸如此類。首先，A1000平臺除了支持Linux、QNX操作系統，也可以支持我們合作伙伴的第三方操作系統，比如接下來中興專家給大家分享的 SafetyLinux。
其次，A1000平臺已經通過了量產項目的考驗，在吉利領克08這個車型上成功量產。A1000 SDK提供的服務已經具備量產品質，大大減少客戶二次開發過程中，可能碰到的各種問題。
第三，A1000的Linux SDK包中，集成了一套docker編譯環境，可以作為本地編譯環境使用。SDK中的指導文檔也是齊全的，從SDK的整體介紹，到每個硬件模塊的編程指南，還提供相應的范例代碼。前面說到的PC開發工具鏈，提供燒錄鏡像包，鏡像包的客制化，在線調試，系統性能分析等功能。這些都極大降低了開發者上手的難度，幫助客戶快速的建立A1000平臺開發能力。
第四，在A1000 SoC內，集成的硬件加速器，可以簡化嵌入式板端的系統設計，優化處理流程。在各個硬件加速器之間，通過共享內存機制，提升數據處理效率。
第五，A1000平臺適配性好。黑芝麻智能推薦客戶參考A1000 FAD參考設計，來設計自己的最小系統。用戶可以根據自己的需求，從最核心的最小系統，到其他的加串器、解串器、攝像頭、以太網的PHY、板級其他設備，都可以自行選擇，黑芝麻智能支持客戶做量產適配。
最后一點，黑芝麻智能自研的ISP。在A1000平臺上，黑芝麻智能提供量產級別的ISP tuning服務。如果客戶需要自行基于A1000平臺，細調攝像頭的圖像效果，黑芝麻智能可以提供ISP tuning工具使用方面的培訓。
接下來，我給大家介紹一個A1000上典型的泊車應用的部署。這是一個流程框圖。
從圖上看，泊車一般是4個攝像頭模組，所以先以4個攝像頭模組為例。
4個攝像頭的原始圖像數據進入A1000后，首先由ISP做處理。A1000集成的ISP，可以調節4個攝像頭的數據，達到同步曝光，亮度、色彩的均衡等處理，再給到下一個處理單元。第一個使用者，是Codec編碼。如框圖上的第一條通路，做EDR、DVR。計算機視覺的硬件加速器可以把這4幅圖簡單做四宮格拼接，用CPU把時間戳、敏感信息去掉，再送給Codec編碼，最后通過以太網或者其他方式往外輸出。第二個使用者，是泊車感知的障礙物檢測。計算機視覺加速器可以做縮放和裁剪，包括去畸變，然后由感知算法做障礙物檢測，再到算法后處理。第三個使用者，是泊車感知的停車位檢測。GPU把4幅圖像數據做BEV拼接，拼接后輸出的是RGBA格式的數據，我們需要把它轉成NPU需要的格式。比如NPU需要RGB-planar、NV12格式的圖像數據，我們可以通過DSP，把RGBA的數據轉成RGB-planar格式，再給到算法后處理。第四個使用者，是360全景環視。GPU把4幅圖做AVM拼接，再加上其他3D渲染，送到車機ECU做顯示。通過這些硬件加速器能夠有效地減輕CPU的負擔，使整個系統運行更加穩定可靠。每個硬件模塊之間，我們盡可能通過Shared Memory來傳輸數據，減少內存的拷貝，優化DDR帶寬的使用。
行車感知，一般使用6個攝像頭，或者7個攝像頭（雙前視）。包括一到兩個前視攝像頭、四個側視攝像頭，一個后視攝像頭。這些攝像頭模組需要做同步曝光處理。當和其他傳感器需要同步時，比如激光雷達，就需要激光雷達輸出一個觸發信號，再由這個觸發信號，控制多個攝像頭模組的同步曝光。
計算機視覺加速器把輸入的視頻數據，進行縮放、裁剪，再零拷貝送到下一個處理節點，比如Codec、NPU做處理。在行車應用中，計算機視覺DSP可以支持客戶自研的算法處理模塊，比如激光雷達的算子、測距算法、泊車建圖、行車標定等。
A1000平臺典型開發場景我們接下來討論一下，是平常工作中花時間最多的幾個典型場景：
1、多傳感器的同步觸發主要是說攝像頭、激光雷達等傳感器，如何做到同步觸發。這個和模組之間的差異，激光雷達外發觸發信號的精度等因素有關。我們需要了解senor的觸發機制、同步曝光的原理，才能夠做到游刃有余。2、高效的數據處理流程，需要我們充分了解整個SoC的各個硬件模塊，以及數據處理的流程。在數據處理過程中，充分利用SoC的硬件加速器。3、黑芝麻智能提供ISP的tuning服務，這也是我們工作的一部分。為了給用戶呈現最好的圖像效果，一組攝像頭一般來說需要半個月左右的時間去優化效果。4、在基于神經網絡的視覺感知算法上的的適配上，黑芝麻智能提供了山海深度學習工具鏈，支持第三方深度學習的算法跑在A1000芯片上。5、四個計算機視覺DSP，很多客戶會開發此DSP的算子，把四個DSP都用起來，減輕CPU負擔，加快整個視頻數據流的運轉。6、每個平臺都會需要系統性能分析與優化。根據并發的場景，分析每個環節的資源消耗，具體分析出系統的瓶頸在哪里，做相應地優化。黑芝麻智能在面向客戶的項目空間中，積累了大量的問題分析和經驗總結。大家可以通過我們的項目空間去看一下，學習和借鑒以往經驗積累。黑芝麻智能自研的ISP是A1000突出的亮點之一。A1000集成了3個ISP Core。每個ISP Core都能支持4個攝像頭同步輸入，因此最多可以支持12個原始圖像的攝像頭模組接入，滿足行泊一體項目的多攝像頭接入的需求。
黑芝麻智能提供量產級別的tuning服務。ISP tuning需要很高的專業知識深度，黑芝麻智能可以給客戶提供免費的A1000 ISP tuning培訓，增強客戶自己的圖像處理能力。
黑芝麻智能自研的NPU是個A1000第二個非常大的亮點。
黑芝麻智能的深度學習山海工具鏈是相當完備和成熟的，可以支持客戶把算法快速移植到A1000的DynamAI NN深度學習引擎上來。
我想要向大家推薦的是黑芝麻智能為客戶提供的開發者平臺。這個平臺有我們專業的團隊在維護。在這個平臺上，有技術積累的資料，有向客戶開放的A1000芯片資料。黑芝麻智能的工程師和客戶的工程師，在這個平臺上，共同討論并解決問題。這個解決問題的過程，就變成了一篇“開發者指南”。一方面供我們黑芝麻智能的同事學習和成長，同時也給客戶的工程師分享知識積累。
我們的目標是，在這個開發者平臺，只要用關鍵字就能搜到我們關心的問題，指導我們快速的定位/解決問題。
黑芝麻智能核心競爭力
再次向大家介紹一下黑芝麻智能的核心競爭力。
1、卓越的華山二號A1000的芯片；
2、黑芝麻智能自研的核心IP（ISP，NPU）；
3、完備的參考設計和工具鏈；
4、國內頭部車企的量產品質；
5、A1000的各個生態合作伙伴的加持，快速量產落地。
