NVIDIA Jetson 提升影片處理能力,最新 SDK 支援
NVIDIA Jetson 是一系列為邊緣人工智慧(AI)應用而設計的嵌入式模組,廣泛用於機器人、智能視訊分析、工業自動化、醫療保健、媒體處理和遠程操作等領域。其中,影片處理是 Jetson 應用的核心數據路徑。為了滿足這些應用的需求,NVIDIA 推出了最新的 JetPack 7.1 和 JetPack 7.2.1,分別提供了 NVIDIA Video Codec SDK 和 PyNvVideoCodec 2.2 的支援。
背景分析
在 Jetson 應用中,系統可能會捕捉多個攝像頭的影片、解碼網路串流、執行 AI 推斷或傳統視覺處理、繪製結果並編碼影片以進行儲存或傳輸。這些個別的呼叫雖然相對直接,但工程工作則需要選擇正確的介面、編解碼器、像素格式、記憶體路徑、速率控制和緩衝,以確保 Jetson 裝置能夠達到所需的延遲、吞吐量和質量目標。
影片處理能力提升
JetPack 7.1 引入了 NVIDIA Video Codec SDK 的支援,允許 C 和 C++ 開發者直接存取 NVIDIA Video Encoder (NVENC) 和 NVIDIA Video Decoder (NVDEC)。這使得開發者能夠更細膩地控制影片編碼和解碼的過程,從而提升整體的影片處理能力。
而 JetPack 7.2.1 則首次在 Jetson 上添加了 PyNvVideoCodec 2.2 的支援,這是一個為 NVIDIA GPU 提供的 Python 庫,能夠進行硬體加速的影片編碼和解碼。PyNvVideoCodec 能夠產生和消費 GPU 上的影片幀,透過 DLPack 協定和 CUDA 裝置緩衝區進行存取。它還包括了 AI 管道友好的功能,如多模式幀採樣和 ThreadedDecoder,能夠加強管道效率並降低延遲。
未來展望
JetPack 7.2.1 不僅提供了 NVIDIA Video Codec SDK 和 PyNvVideoCodec 2.2 的支援,還引入了基礎的影片技能,讓開發者能夠更容易地使用這些 SDK。這些技能能夠連接開發者的目標到實際的裝置發現、支援的配置、工作配方、執行、測量和可重現的證據。透過這些技能,開發者能夠更快速地開發出高效能的 AI 應用,並將前沿的 AI 表現力帶給每一位開發者。
未來,NVIDIA 將繼續擴展這些基礎的影片技能,提供更多的功能和支援,以滿足 Jetson 開發者的需求。透過 Jetson Video Skills,開發者將能夠更容易地處理複雜的影片處理任務,從而推動 Jetson 應用的創新和發展。因此,NVIDIA Jetson 的最新 SDK 支援和基礎影片技能的引入,將為邊緣 AI 應用開啟新的機會和可能性。
