全新 Ethos-U85 NPU
依托 Ethos-U 系列 NPU 過往的成功經驗，Arm 推出了全新產品—— Ethos-U85。該處理器秉承此前 Ethos-U NPU 一貫的高性能、高能效設計理念，并可同時為邊緣側和端側設備上采用 Transformer 架構的現有和未來的工作負載提供支持。
Ethos-U85 是 Arm Ethos-U 產品線中的第三代 NPU，也是迄今為止性能和能效最強的 Ethos NPU。與上一代產品相比，該 NPU 的性能提升了四倍，能效提高了 20%，并且可在主流網絡上實現高達 85% 的利用率。全新 Ethos-U85 可滿足諸如工廠自動化和商用或智能家居攝像頭等物聯網應用不斷攀升的性能需求。此外，其專為搭配基于 Cortex-M 或 Cortex-A的系統一同運行而設計，并容忍高 DRAM 延遲。
Ethos-U85 的主要特性包括：
——單周期支持從 128 到 2048 個 MAC單元的配置——在 1GHz 時，算力可支持從 256 GOPS 到 4 TOPS。
——支持 int8 權重和 int8 或 int16 激活。
——支持 Transformer 架構網絡，以及 CNN 和 RNN。
——硬件原生支持 2/4 稀疏性，使吞吐量翻倍。
——內部 SRAM 為 29 至 267 KB，多達六個 128 位 AXI5 接口。
——支持權重壓縮，采用標準和快速權重編碼器。
——支持擴展壓縮。
除了 Ethos-U55 和 Ethos-U65 目前支持的算子，通過支持 TRANSPOSE、GATHER、MATMUL、RESIZE BILINEAR 和 ARGMAX 等運算，Ethos-U85 涵蓋了對 Transformer 模型和 DeeplabV3 語義分割網絡的原生硬件支持。
Ethos-U85 也支持元素級算子鏈化。通過鏈化將元素級運算與先前的運算相結合，使 SRAM 不必先寫入再讀取中間張量。由此可憑借 NPU 和內存之間數據傳輸量的減少，提高 NPU 的效率。相比于 Ethos-U65，鏈化是 Ethos-U85 在效率提升上的新功能之一，其余還包括快速的權重編碼器、優(yōu)化的 MAC 陣列能效，以及提升的元素效率。
Ethos-U85 可用于與 Ethos-U55 和 Ethos-U65 相同的系統配置流程，并且我們支持從基于 Cortex-A 的系統直接驅動 Ethos-U85 的功能。
Ethos-U85 支持與上一代Ethos-U系列產品相同的軟件工具鏈, 即使用TFLmicro運行時。此外，在這個基礎上，Ethos-U85 同時還能為更廣泛采用 Transformer 架構的用例提供支持，這對于已經投入在基于 Cortex-A/Cortex-M 與 Ethos-U55/Ethos-U65 的系統廠商來說，將能擴大其過往的投資價值。未來，我們預計將支持面向邊緣設備的 PyTorch 運行時 ExecuTorch。
Ethos-U85 支持的算子將在 NPU 上進行加速，對于特殊算子不支持的情況，其中部分算子將調用CMSIS-NN庫實現在Cortex-M系統上進行加速。例如，在 tinyLlama 的用例中，該模型算子可完全映射到 Ethos-U85，沒有算子回退到 CPU。
Ethos-U85 擔任了 Arm 全新物聯網參考設計平臺 Corstone-320 的核心角色，該參考設計平臺加快了各類 AIoT 解決方案中高性能 SoC 的開發(fā)和部署。
釋放邊緣AI 的無限潛力
Ethos-U85 將提供在邊緣側和端側設備上執(zhí)行領先 AI 功能所需的算力。隨著 AI 時代的不斷發(fā)展，我們的合作伙伴將獲得基于 Arm Ethos-U 的可靠、高效兼具高性能的解決方案。我們預計在新興的邊緣 AI 用例、智能家居、零售或工業(yè)場景中看到Ethos-U85 被廣泛部署，這些用例和場景需要更高的計算性能，并支持新型的 AI 框架。
Arm 引以為傲的是，我們不斷通過前沿的軟硬件解決方案，為合作伙伴與生態(tài)系統提供強而有力的支持。全新 Ethos-U85 的推出將釋放邊緣側和端側 AI 推理用例的無限潛能，從而改變世界。Arm 正在引領邊緣 AI 的創(chuàng)新提升至全新水平，并持續(xù)夯實 Arm 成為未來邊緣 AI 的基石。
【本文作者：Arm 物聯網事業(yè)部行業(yè)市場營銷高級總監(jiān) Parag Beerkaka 】
