雖然神經網絡通常由 GPU 加速，但支持神經網絡的計算機視覺和圖像處理算法往往是當今 AI 應用中的 CPU 瓶頸。
CV-CUDA 通過將前處理和后處理步驟從 CPU 轉移到 GPU，幫助在單個 GPU 上處理4倍的串流。因此，CV-CUDA能夠以四分之一的云計算成本處理同樣的工作負載。
CV-CUDA 庫為開發(fā)者提供30多種高性能的計算機視覺算法，包含原生 Python API 和與 PyTorch、TensorFlow2、ONNX 與TensorRT機器學習框架的零拷貝集成。
其結果是為云 AI 業(yè)務提供了更高的吞吐量，同時降低計算成本并減少了碳足跡。
全球對計算機視覺AI的應用情況
全球行業(yè)領導者的采用體現了CV-CUDA 為越來越多大規(guī)模視覺應用所帶來的益處以及多樣的支持。擁有大規(guī)模圖像處理工作負載的企業(yè)可以節(jié)省數千萬乃至數億美元的費用。
微軟正將 CV-CUDA 整合到必應視覺搜索中，以支持用戶使用圖像而非文本來搜索，尋找類似的圖像、產品或網頁。
2019年，微軟在 GTC 上分享了他們如何利用 NVIDIA 技術將語音識別、智能回答、文字-語音轉換技術和物體檢測無縫、實時地結合起來。
騰訊已部署 CV-CUDA 來加速其廣告創(chuàng)作和內容理解流程，該流程每天處理30多萬個視頻。
相比之前經過 GPU 優(yōu)化的工作流，在使用CV-CUDA后，這家總部位于深圳的多媒體集團在圖像處理方面的能耗和成本均降低了20%。
而總部位于北京的搜索巨頭百度正在將 CV-CUDA 整合到 FastDeploy中。FastDeploy 是百度飛漿深度學習框架的開源部署工具包之一，可以為開源社區(qū)的開發(fā)者提供無縫的計算機視覺加速。
從內容創(chuàng)建到汽車用例
CV-CUDA 的應用正在不斷增加。在Alpha版本發(fā)布后的幾個月內，就有500多家公司提出了100多個用例。
內容創(chuàng)作和電子商務中的圖像會使用前處理和后處理算子來幫助推薦引擎識別、定位和策劃內容。
在測繪領域，來自測繪車輛的視頻需要預處理和后處理算子來訓練云端神經網絡，從而識別基礎設施和道路特征。
在自動駕駛模擬和驗證軟件的基礎設施應用中，CV-CUDA 使 GPU能夠加速在車輛上發(fā)生的算法，例如顏色轉換、失真校正、卷積和雙邊過濾等。
未來，生成式 AI 將改變視頻內容創(chuàng)作和管理，使創(chuàng)作者能夠接觸到全球受眾。
位于紐約的初創(chuàng)企業(yè) Runway 已通過集成 CV-CUDA，緩解了其視頻對象分割模型中的一個關鍵的高分辨率視頻預處理瓶頸。
在部署 CV-CUDA 后，其速度提高了3.6倍，支持Runway 優(yōu)化其創(chuàng)作工具套件中的實時內容點擊響應速度。
Runway 聯合創(chuàng)始人兼首席執(zhí)行官 Cristóbal Valenzuela表示：“對于創(chuàng)作者來說，將一個想法變?yōu)楝F實過程中的每一秒都很寶貴。CV-CUDA 為數百萬使用我們工具的創(chuàng)作者帶來了積極且重要的變化?！?/p>
如需使用 CV-CUDA，請訪問CV-CUDA GitHub。
