隨著時(shí)間的推移，開(kāi)發(fā)者可以期待更多的 Kria SOM 和套件。而且雖然本白皮書(shū)重點(diǎn)講述的是第一批方案，但同樣的概念也適用于未來(lái)推出的解決方案。

借助賽靈思 Kria SOM 簡(jiǎn)化嵌入式設(shè)計(jì)的關(guān)鍵實(shí)現(xiàn)技術(shù)，在于隨每個(gè)入門(mén)套件提供的應(yīng)用專用基礎(chǔ)架構(gòu)。它可以直接用于用戶的量產(chǎn)設(shè)計(jì)。首款 Kria 入門(mén)套件為 Kria KV260 視覺(jué) AI 入門(mén)套件，它主要面向視覺(jué) AI 應(yīng)用。未來(lái)的解決方案將重點(diǎn)關(guān)注由賽靈思和第三方開(kāi)發(fā)的其他豐富多樣的應(yīng)用，并在 Xilinx App Store 中提供。Xilinx App Store提供成套的量產(chǎn)級(jí)參考設(shè)計(jì)，稱為 Kria 加速應(yīng)用。這種基于加速應(yīng)用的獨(dú)

特方法既為以軟件為基礎(chǔ)的設(shè)計(jì)提供了全新范例，同時(shí)也為目標(biāo)應(yīng)用保持了 FPGA 的性能優(yōu)勢(shì)和系統(tǒng)級(jí)靈活性。

利用加速應(yīng)用方法簡(jiǎn)化 FPGA 設(shè)計(jì)

自適應(yīng) SoC 是一把雙刃劍。它們雖然比任何其他主流半導(dǎo)體技術(shù)都更加靈活，但也會(huì)讓新用戶感到過(guò)于復(fù)雜。這種靈活性體現(xiàn)在眾多方面：可編程邏輯、可編程軟件、可編程 I/O、可編程 DSP 引擎、可編程嵌入式 RAM、可編程安全性、可編程功耗等。Kria SOM 以最常用、最主流的用例為重點(diǎn)，從設(shè)計(jì)上簡(jiǎn)化了這種靈活性造成的復(fù)雜性。這些用例已開(kāi)發(fā)到加速應(yīng)用中，方便用戶通過(guò) Xilinx App Store加入設(shè)計(jì)者的行

列中。加速應(yīng)用的變革性影響，類似于自動(dòng)擋的發(fā)明較之手動(dòng)擋令汽車駕駛更簡(jiǎn)便易行。雖然手動(dòng)擋的熱衷者仍不乏其人，但是世界上大多數(shù)人會(huì)自然地選用最容易操縱、最方便的方式。然而，即使賽靈思器件的固有功能被做了這樣的簡(jiǎn)化，但與市場(chǎng)上無(wú)論是基于微處理器或是 GPU 的 SOM 相比，Kria SOM 都能提供強(qiáng)得多的系統(tǒng)級(jí)靈活性。

除了預(yù)配置電源提供的關(guān)鍵的便利特性、具備“金版”鏡像回讀功能的自動(dòng)化啟動(dòng)流程和靈活的 I/O 分配以外，Kria SOM 還為加速開(kāi)發(fā)提供了更多豐富功能。Kria SOM 支持預(yù)構(gòu)建、可擴(kuò)展的 Linux 基礎(chǔ)設(shè)施，無(wú)論客戶傾向于 Canonical 提供的 Ubuntu 和 Ubuntu Core 版本，還是賽靈思通過(guò) PetaLinux 工具管理的 Linux 內(nèi)核，以及使用 Yocto 進(jìn)行定制構(gòu)建的功能。兩種方式都提供了一套非常實(shí)用的系統(tǒng)工具，如溫度監(jiān)控器、性能監(jiān)控器、DDR 內(nèi)存和其他外設(shè)的服務(wù)質(zhì)量配置、固件無(wú)線更新能力、內(nèi)置自檢測(cè)等。這些特性對(duì)于簡(jiǎn)化 Kria SOM 的使用很有幫助。然而，Kria SOM 最突出的特點(diǎn)在于 Xilinx App Store 提供的不斷豐富的加速應(yīng)用庫(kù)。其中既有免費(fèi)應(yīng)用，也有收費(fèi)應(yīng)用，并且都可以輕松加載到 Kria SOM 中。

預(yù)構(gòu)建的可編程邏輯與加速應(yīng)用

Kria 加速應(yīng)用旨在借助基礎(chǔ)軟件應(yīng)用創(chuàng)建穩(wěn)健的應(yīng)用專用 FPGA 硬件設(shè)計(jì)，方便最終用戶進(jìn)行擴(kuò)展。在加速應(yīng)用中，SoC 的可編程邏輯部分已經(jīng)為用戶預(yù)先構(gòu)建。不需要進(jìn)行修改即可使用。當(dāng)然，如果需要也可以修改。 賽靈思已經(jīng)開(kāi)發(fā)出一定數(shù)量的加速應(yīng)用，通過(guò)修改就能滿足設(shè)計(jì)者的多樣化需求。初始 Kria 加速應(yīng)用依據(jù)的是研究發(fā)現(xiàn)的用戶在開(kāi)發(fā)過(guò)程中最常使用的視覺(jué) AI 應(yīng)用。這些賽靈思提供的加速應(yīng)用可由用戶根據(jù)自身目標(biāo)和需求進(jìn)行修改。與從頭開(kāi)發(fā)相比，幫助他們節(jié)省了軟件開(kāi)發(fā)時(shí)間。賽靈思和賽靈思生態(tài)系統(tǒng) （運(yùn)用自己在各自重點(diǎn)領(lǐng)域的專業(yè)知識(shí)交付應(yīng)用合作伙伴）將在Xilinx App Store上增加更多加速應(yīng)用。參見(jiàn)表

對(duì)于首批入門(mén)套件解決方案，主要應(yīng)用是視覺(jué) AI 應(yīng)用，例如安全、智慧城市、交通管理和零售分析。這些應(yīng)用推動(dòng)了針對(duì) KV260 入門(mén)套件的設(shè)計(jì)決策，包括為 I/O 接口選擇連接器等決策。這些連接包括 MIPI、HDMI、DisplayPort、USB 和以太網(wǎng)等接口。未來(lái)的入門(mén)套件將面向更多類型的應(yīng)用，如機(jī)器視覺(jué)、視覺(jué)引導(dǎo)機(jī)器人等。Kria 加速應(yīng)用幫助用戶快速?gòu)脑u(píng)估階段進(jìn)入到設(shè)計(jì)階段以及部署階段。

從評(píng)估到量產(chǎn)部署的典型流程

這里是從評(píng)估到量產(chǎn)部署的典型流程：

1.      最初數(shù)天（評(píng)估）：選擇滿足用戶需求，適合評(píng)估平臺(tái)功能的最為近似的賽靈思預(yù)構(gòu)建設(shè)計(jì)（加速應(yīng)用）。

2.????? 最初數(shù)周（設(shè)計(jì)）：定制應(yīng)用軟件和 AI 模型，根據(jù)最終產(chǎn)品需求調(diào)試 Kria 加速應(yīng)用。此外，用戶還可以針對(duì)用戶的 AI 模型選擇，使用 Vitis庫(kù)的硬件加速器優(yōu)化完整的圖像數(shù)據(jù)路徑，最大限度提升性能。

3.      最初數(shù)月（部署）：針對(duì)具體的用戶外設(shè)（如不同的攝像頭傳感器）定制硬件并啟動(dòng)構(gòu)建定制載卡的流程。根據(jù)需要，參照豐富的在線教程和設(shè)計(jì)指南，在這個(gè)階段通過(guò) Vitis 設(shè)計(jì)工具也可以修改 FPGA硬件。

4.    數(shù)年（適配）：通過(guò)無(wú)線更新的方式對(duì)現(xiàn)場(chǎng)的軟硬件進(jìn)行更新，從而最大化產(chǎn)品相關(guān)性，并通過(guò)這些 更新，有望為用戶的公司創(chuàng)造新的收益流。不斷演進(jìn)的標(biāo)準(zhǔn)、威脅和客戶需求可能導(dǎo)致 AI 模型、視 覺(jué)流水線、控制環(huán)路、通信協(xié)議和加密引擎發(fā)生改變。Kria SOM 提供了在部署后做出這些改變的靈 活性與內(nèi)置功能。

正如上述場(chǎng)景所呈現(xiàn)的，在評(píng)估階段無(wú)需安裝賽靈思工具。GNU 編譯器和 Vitis AI 等軟件工具用于第二步，即設(shè)計(jì)階段。第三階段是部署。如過(guò)有任何階段需要實(shí)現(xiàn)硬件定制，最有可能是在這個(gè)階段。因此有可能需要 Vitis 和/或 Vivado? 設(shè)計(jì)套件等 FPGA 工具。

Kria 加速應(yīng)用的優(yōu)勢(shì)

Kria 加速應(yīng)用的重要之處在于，它們?cè)试S用戶在 Ubuntu 或 Yocto Linux 環(huán)境下從熟悉的嵌入式軟件和 AI 工具入手，而不必與可能不熟悉的 FPGA 工具打交道。要讓用戶充分發(fā)揮這種方便的流程的優(yōu)勢(shì)，前提是賽靈思應(yīng)用商店中有與用戶需求匹配的加速應(yīng)用（例如智能攝像頭、AI Box、配有 KV26 和 KV260 的機(jī)器視覺(jué)攝像頭，還有未來(lái)的機(jī)器人控制器和電驅(qū)動(dòng)器）。應(yīng)用軟件和 AI 處理是量產(chǎn)所需的主要修改。因此，雖然完全支持 FPGA 定制，但無(wú)需定制。

憑借軟件設(shè)計(jì)的便利性，預(yù)先構(gòu)建在這些系統(tǒng)內(nèi)的應(yīng)用專用 FPGA 加速塊提供了世界一流的性能和低時(shí)延。SOM還能根據(jù)加載到 SOM 中的具體加速應(yīng)用，通過(guò)改變用戶可用的加速塊，提供顯著的“個(gè)性化”加速。此外，每個(gè)加速應(yīng)用都可以使用 Vitis 加速庫(kù)實(shí)現(xiàn)定制化。定制范圍從 OpenCV 到豐富多樣的其他常用功能。這種靈活性是SOM 自適應(yīng)技術(shù)基礎(chǔ)的基本價(jià)值主張。

Kria SOM 的主要性能和特性

主要特性和標(biāo)準(zhǔn)隨使用的 Kria 加速應(yīng)用以及與該應(yīng)用相關(guān)的功能而有所變化。對(duì)于首批解決方案而言，K26 SOM 和 KV260 視覺(jué) AI 入門(mén)套件重點(diǎn)關(guān)注 AI 吞吐量、性能功耗比和每通道成本。如欲了解更詳細(xì)的性能基準(zhǔn)測(cè)試報(bào)告，敬請(qǐng)查詢相關(guān)白皮書(shū)：WP529，Kria K26 SOM：邊緣視覺(jué) AI 的理想平臺(tái)。本白皮書(shū)概述了相對(duì)于競(jìng)爭(zhēng)對(duì)手 SOM 產(chǎn)品的優(yōu)勢(shì)，重點(diǎn)介紹了具體的用例，如智慧城市應(yīng)用中的車牌/數(shù)字車牌識(shí)別等。

從純粹的每秒萬(wàn)億次的運(yùn)算(TOPS)來(lái)看，K26 SOM 可提供比 Nvidia Jetson Nano 高大約 3 倍的性能優(yōu)勢(shì)。此外，它也能提供比 Nvidia Jetson TX2 最多高 2 倍的性能功耗比優(yōu)勢(shì)。其低時(shí)延、高性能的深度學(xué)習(xí)處理單元(DPU)在機(jī)器學(xué)習(xí)性能基準(zhǔn)測(cè)試套件的網(wǎng)絡(luò)上，可提供顯著優(yōu)于 Nano 和 TX2 的性能。

Kria K26 SOM 特性

K26 SOM 采用 Zynq UltraScale+ MPSoC 架構(gòu)。由此，K26 和所有 K2x 系列 SOM 均搭載一個(gè) 64 位四核 Arm? Cortex?-A53 應(yīng)用處理器組、一個(gè) 32 位雙核 Arm Cortex-R5F 實(shí)時(shí)處理器和一個(gè) Arm Mali?-400MP2 3D 圖形處理器。SOM 還內(nèi)置 4GB 的 64 位 DDR4 內(nèi)存以及 QSPI 和 eMMC 存儲(chǔ)器。通過(guò)外部 TPM2.0，內(nèi)置硬件信任根的固有安全啟動(dòng)功能得到擴(kuò)展，能進(jìn)行測(cè)量啟動(dòng)并符合 IEC 62443 的標(biāo)準(zhǔn)（參見(jiàn) WP513，賽靈思 IEC 62443 合規(guī)產(chǎn)品實(shí)現(xiàn)）。此外，通過(guò)其 FPGA 架構(gòu)內(nèi)的 25.6 萬(wàn)個(gè)系統(tǒng)邏輯單元，K26 SOM 還能支持最多 4096 個(gè)大小的 DPU，并為 H.264/H.265 提供內(nèi)置視頻編解碼器。K26 SOM 通過(guò) 四個(gè) 6Gb/s 收發(fā)器和四個(gè) 12.5Gb/s 收發(fā)器，支持大量的 1.8V、3.3V、單端和差分 I/O。整體上可以支持

多種類型的標(biāo)準(zhǔn)，如 MIPI、SLVS-EC、sub-LVDS、DisplayPort、HDMI、PCIe? 、USB2.0/3.0 等，包括用戶定義的標(biāo)準(zhǔn)。K26 SOM 的大小是 77mm x 60mm x 11mm，在未來(lái)，計(jì)劃顯著縮小 SOM 的尺寸，以支持堅(jiān)固型應(yīng)用。商用級(jí) K26 SOM 支持的額定溫度范圍是 0°C 至 +85°C 結(jié)溫，以內(nèi)部溫度傳感器報(bào)告應(yīng)用處理器的溫度為準(zhǔn)。SOM 上的所有其他器件均以該傳感器的測(cè)量值為準(zhǔn)。類似地，工業(yè)級(jí)支持的額定溫度范圍是 –40°C 至 +100°C。SOM 通過(guò)兩個(gè) 240 引腳連接器與載卡相連。參見(jiàn)表 2。

KV260 入門(mén)套件特性

為了降低成本、簡(jiǎn)化評(píng)估，盡管量產(chǎn)的 K26 SOM 上有兩個(gè)連接器，KV269 入門(mén)套件內(nèi)的 SOM 由于功能受限，因此只有一個(gè)連接器可以使用。量產(chǎn) SOM 和入門(mén)套件間的其他差異還有載卡上移除 eMMC 存儲(chǔ)器，用 SD 卡接口代替，以及入門(mén)套件只能在室溫下運(yùn)行。

KV260 視覺(jué) AI 入門(mén)套件支持三個(gè) MIPI 傳感器接口，一個(gè)安森美半導(dǎo)體提供的成像器接入系統(tǒng)(IAS)連接器并配套一個(gè)板載圖像信號(hào)處理器(ISP)、一個(gè)補(bǔ)充 IAS 連接器和一個(gè)樹(shù)莓派連接器。提供多個(gè) USB 2.0/3.0 接口以及以太網(wǎng)、HDMI、DisplayPort 和 Pmod 連接器，用于評(píng)估多種類型的視覺(jué) AI 應(yīng)用。這種入門(mén)套件使用簡(jiǎn)便，從開(kāi)箱到開(kāi)發(fā)應(yīng)用，用時(shí)不到一個(gè)小時(shí)。參見(jiàn)圖 5。

Kria SOM 系統(tǒng)級(jí)靈活性實(shí)現(xiàn)面向未來(lái)的產(chǎn)品

成套的應(yīng)用專用解決方案和固有的性能優(yōu)勢(shì)令 Kria SOM 成為全新嵌入式設(shè)計(jì)的理想選擇。除此之外，它還可為工業(yè)市場(chǎng)提供多項(xiàng)長(zhǎng)期商業(yè)以及技術(shù)優(yōu)勢(shì)。

工業(yè)市場(chǎng)的特征是要求嚴(yán)苛環(huán)境下的長(zhǎng)生命周期。這里的長(zhǎng)生命周期是指在更寬泛的工作溫度范圍下承受濕度、沖擊和振動(dòng)的長(zhǎng)使用壽命。工業(yè)級(jí) Kria SOM 能在 100°C 結(jié)溫、80% 相對(duì)濕度下提供 10 年的使用壽命。此外，它還能承受最高 40g 的沖擊和 5g RMS的振動(dòng)。

對(duì)一些客戶而言，長(zhǎng)生命周期也指長(zhǎng)期供貨。就賽靈思 SOM 產(chǎn)品而言，工業(yè)級(jí)解決方案的供貨期至少為 10 年。這是 Kria SOM 的一項(xiàng)重大優(yōu)勢(shì)，因?yàn)?DDR4、QSPI、eMMC、TPM2.0 等各類組件和電源管理器件的價(jià)格和供貨可能存在諸多變數(shù)。賽靈思可幫助用戶減少對(duì)這些細(xì)節(jié)的關(guān)注，因?yàn)殚L(zhǎng)生命周期只是Kria SOM 的眾多價(jià)值之一。Kria SOM 模型還可內(nèi)在地允許客戶根據(jù)出貨量漲跌造成的業(yè)務(wù)需求，從 SOM

過(guò)渡到成品芯片。

從技術(shù)的角度，Kria SOM 具備自適應(yīng)器件基礎(chǔ)，可為用戶提供重大的靈活性優(yōu)勢(shì)。這些系統(tǒng)級(jí)靈活性可通過(guò)加速應(yīng)用的未來(lái)更新得到進(jìn)一步強(qiáng)化。例如，一項(xiàng)對(duì) DPU 性能的研究揭示，從 INT8 升級(jí)到 INT4 能提高硬件性能 77%，同時(shí)減少邏輯占用和片上存儲(chǔ)器占用。也能部署高速可擴(kuò)展的量化神經(jīng)網(wǎng)絡(luò)推斷(FINN)這樣的降低精度的推斷架構(gòu)，因?yàn)?Kria SOM 硬件會(huì)隨著時(shí)間的推移不斷改進(jìn)，可以在部署到實(shí)地后進(jìn)行

升級(jí)。這與固定的 GPU 架構(gòu)相比完全相反。

靈活適應(yīng)市場(chǎng)趨勢(shì)

有時(shí)候在市場(chǎng)的推動(dòng)下，可能發(fā)生從一種技術(shù)或接口向另一種技術(shù)或接口遷移的情況。而 Kria SOM 也能適應(yīng)這些外部力量的作用。賽靈思可編程 I/O 和內(nèi)部可編程邏輯能支持從 MIPI 等成像標(biāo)準(zhǔn)向 SLVS-EC 轉(zhuǎn)型，乃至從 SLVS-EC 1.0 版向 2.0 版轉(zhuǎn)型，從而支持 2 倍的數(shù)據(jù)速率。

Kria SOM 靈活性的另一個(gè)環(huán)節(jié)是它們是云原生的。它們可以讓用戶迅速、無(wú)縫地在邊緣和云之間靈活分配工作負(fù)載。在需要加快響應(yīng)速度的時(shí)候，其他物聯(lián)網(wǎng)解決方案所受限制過(guò)大，無(wú)法可靠地處理云工作負(fù)載。但是 Kria SOM 可支持許多最常用的云框架。就部分云解決方案而言，比如采用 Greengrass 框架的AWS，運(yùn)行在云上的應(yīng)用可以無(wú)縫遷移到邊緣，反之亦然。根據(jù)大多數(shù)工業(yè)資產(chǎn)的預(yù)期使用壽命和耐久度，Kria SOM 專為滿足工業(yè)級(jí)使用壽命的要求量身打造。

從 Kria SOM 入手

正如本白皮書(shū)通篇所介紹的那樣，對(duì)于希望在量產(chǎn)系統(tǒng)中發(fā)揮 FPGA 技術(shù)的優(yōu)勢(shì)，但不知道從何著手的嵌入式開(kāi)發(fā)者和 AI 軟件開(kāi)發(fā)者來(lái)說(shuō)，Kria SOM 是理想的解決方案。此外，Kria SOM 還能消除設(shè)計(jì)流程中一些比較耗時(shí)的環(huán)節(jié)，從而為 FPGA 專家提高了自適應(yīng) SoC 硬件的設(shè)計(jì)效率并降低了風(fēng)險(xiǎn)。

隨著賽靈思和合作伙伴的不懈努力，Kria SOM 開(kāi)發(fā)者生態(tài)系統(tǒng)將持續(xù)增長(zhǎng)，不斷提供更多加速應(yīng)用，強(qiáng)化 Kria SOM 系列和入門(mén)套件，大幅縮短掌握賽靈思自適應(yīng)計(jì)算技術(shù)的性能和靈活性所需的時(shí)間。設(shè)計(jì)者通過(guò)https://china.xilinx.com/products/som/kria.html，可以立即開(kāi)始評(píng)估當(dāng)前的 Kria SOM 產(chǎn)品組合。為幫助設(shè)計(jì)者入門(mén)，賽靈思還提供文檔、視頻和培訓(xùn)資料。設(shè)計(jì)者可以在賽靈思應(yīng)用商店購(gòu)買(mǎi)入門(mén)套件和附件包，查看 Kria 加速應(yīng)用，然后找出最適合自己的應(yīng)用。

xiesc