強大的生成式 AI 模型、云原生應用程序接口（ API）和微服務已應用于邊緣。

生成式 AI 正在將 Transformer 模型和大語言模型的強大力量帶到各行各業，應用范圍現已擴展到邊緣、機器人和物流系統相關領域，如缺陷檢測、實時資產追蹤、自主規劃和導航以及人機交互等。

NVIDIA 今日宣布，對適用于邊緣 AI 和機器人的 NVIDIA Jetson 平臺上的兩個框架進行大規模擴展。NVIDIA Isaac ROS 機器人框架已全面上市，NVIDIA Metropolis 在 Jetson 平臺上的擴展也即將推出。

為加速邊緣 AI 應用的開發和部署，NVIDIA 還創建了一個 Jetson 生成式 AI 實驗室，以供開發者利用最新的開源生成式 AI 模型進行開發。

目前，已有超過 120 萬名開發者和 1 萬多家客戶選擇了 NVIDIA AI 和 Jetson 平臺，包括亞馬遜云科技（AWS）、思科、約翰迪爾、美敦力、百事、西門子等。

隨著 AI 領域的快速發展，其應用場景日益變得復雜，開發者在構建邊緣 AI 應用時也面臨著開發周期延長的挑戰。為了實時滿足客戶不斷變化的環境、生產線和自動化需求，需要反復對機器人和 AI 系統進行編程，這不僅非常耗時，還要求開發者具備足夠的專業技能。

生成式 AI 所具有的“零樣本學習”能力（即模型能夠識別訓練中從未見過的特定事物）和自然語言界面能夠簡化邊緣 AI 的開發、部署與管理。

推動 AI 領域的變革

生成式 AI 通過理解人類的語言提示，對模型進行更改，從而極大地提高了易用性。這些 AI 模型在檢測、分割、追蹤、搜索甚至重新編程方面都更加靈活，并借此超越了基于卷積神經網絡（CNN）的傳統模型。

據 ABI Research 預測，到 2033 年，生成式 AI 將為全球制造業務增收 105 億美元。

NVIDIA 嵌入式和邊緣計算副總裁 Deepu Talla 表示：“生成式 AI 具有前所未有的泛用性、易用性和精確性，這將顯著加快邊緣 AI 的部署。我們在 Jetson 平臺上對 Metropolis 和 Isaac 框架進行了有史以來規模最大的軟件擴展，并結合 Transformer 模型與生成式 AI 的強大功能來滿足這一需求。”

相關精彩視頻已在NVIDIA中國西瓜視頻賬號發布：

NVIDIA Jetson Orin 賦能邊緣生成式 AI 模型

利用邊緣生成式AI進行開發

NVIDIA Jetson 生成式 AI 實驗室為 Jetson 開發者提供經過優化的工具和教程，用以部署開源大語言模型（LLM）、以交互方式生成驚艷圖像的擴散模型、視覺語言模型（VLM）以及視覺 Transformer （ViT）。其中，ViT 結合了視覺 AI 和自然語言處理，可提供對場景的全面理解。

開發者還可以使用 NVIDIA TAO Toolkit，為邊緣應用創建高效而精確的 AI 模型。TAO 提供了一個用于微調和優化 ViT、視覺基礎模型等視覺 AI 模型的低代碼接口。此外，還可以定制并微調 NVIDIA NV-DINOv2 等基礎模型或 OpenCLIP 等公共模型，用很少的數據創建高度精確的視覺 AI 模型。現在，TAO 還推出了一個基于 Transformer 的新型缺陷檢測模型 —— VisualChangeNet。

充分運用全新的 Metropolis 和 Isaac 框架

NVIDIA Metropolis 能夠幫助企業更輕松、更經濟高效地使用全球頂尖的視覺 AI 解決方案，以改善至關重要的運營效率和安全問題。該平臺提供了一系列功能強大的應用編程接口和微服務，供開發人員快速開發基于視覺的復雜應用。

包括寶馬集團、百事、克羅格、泰森食品、印孚瑟斯和西門子在內的 1,000 多家公司正在使用 NVIDIA Metropolis 開發者工具，通過視覺 AI 來解決物聯網（IoT）、傳感器處理和運營方面的難題。NVIDIA Metropolis 開發者工具的采用速度日益加快，目前已被希望構建視覺 AI 應用的用戶下載了 100 多萬次。

為了幫助開發者快速構建和部署可擴展的視覺 AI 應用程序，NVIDIA Jetson 平臺上的 Metropolis API 和微服務擴展集將在年底前推出。

相關精彩視頻已在NVIDIA中國西瓜視頻賬號發布：

快速構建復雜的視覺 AI 應用程序

數百家客戶使用 NVIDIA Isaac 平臺，在農業、倉儲自動化、最后一公里配送、服務機器人等多個領域開發了高性能機器人解決方案。

在 ROSCon 2023 上，NVIDIA 宣布推出 Isaac ROS 和 Isaac Sim 軟件的全新版本，對感知和模擬功能進行了重大改進。基于常用的開源機器人操作系統（ROS）的 Isaac ROS，為自動化帶來了感知能力，讓移動的物體有了“眼睛”和“耳朵”。借助 GPU 加速的 GEM 所擁有的強大功能（包括視覺里程測量、深度知覺、3D 場景重建、定位和規劃等），機器人開發者就擁有了為不同應用快速定制機器人解決方案所需要各種的工具。

隨著 Isaac ROS 2.0 最新版本的發布，Isaac ROS 已達到生產就緒狀態，能夠幫助開發者使用 Jetson 平臺創建并推出高性能機器人解決方案。

開源機器人基金會首席技術官 Geoff Biggs 表示：“ROS 在不斷發展進化，并為整個機器人社區提供開源軟件。NVIDIA 此次版本中全新預構建的 ROS 2 軟件包將助力廣大 NVIDIA Jetson 開發者社區隨時使用 ROS 2，從而加速這一發展?！?/p>

提供新的 AI 工作流參考

為開發生產級 AI 解決方案，需要開發和訓練針對特定用例定制的 AI 模型，在平臺上實現強大的安全功能，編排應用，管理機隊，建立邊緣到云的無縫通信等。

NVIDIA 推出了一套基于 Metropolis 和 Isaac 框架的精選 AI 工作流參考，幫助開發者快速采用整個工作流或有選擇性地集成獨立的部分，從而大幅減少開發時間和成本。三個 AI 工作流包括： 網絡視頻錄制、自動光學檢測和自主移動機器人。

Tirias Research 首席分析師 Jim McGregor 表示：“NVIDIA Jetson 憑借其廣泛而多樣化的用戶群與合作伙伴生態，助推了邊緣機器人和 AI 革命。隨著應用需求的日益復雜化，我們需要從根本上轉向能夠簡化和加速邊緣部署創建的平臺。NVIDIA 的這一重要軟件擴展為開發者帶來了全新的多傳感器模型和生成式 AI 功能?！?/p>

更多精彩即將呈現

NVIDIA 推出了一系列系統服務，為每個開發者提供在構建邊緣AI解決方案時必不可少的基本功能，簡化與工作流的集成，使他們不必再費時費力地從頭開始構建這些服務。

全新 NVIDIA JetPack 6 將于今年年底推出，AI 開發者將無需全面升級 Jetson Linux 就能保持在計算領域的最前沿，從而大幅加快開發進度，不再依賴 Jetson Linux。JetPack 6 還將通過與 Linux 發行版合作伙伴的合作，擴大基于 Linux 的發行版的選擇范圍，包括 Canonical 的優化及經過驗證的 Ubuntu、Wind River Linux、并行實時 Redhawk Linux 以及各種基于 Yocto 的發行版。

合作伙伴生態系統受益于平臺擴展

Jetson 合作伙伴生態系統提供了從硬件、AI 軟件和應用設計服務到傳感器、連接和開發者工具的廣泛支持。這些創新的合作伙伴作為 NVIDIA 合作伙伴網絡（NPN）中的一部分，是為市場上在售的眾多產品提供構件和子系統的中堅力量。

最新版本通過采用更多具有更強性能與功能的 AI 技術，將助力 Jetson 合作伙伴加快產品上市并擴大客戶群。

獨立軟件供應商合作伙伴也將能夠為 Jetson 提供更多產品。

歡迎參加 NVIDIA 于 2023 年 11 月 7 日（星期二）上午  9 點舉行的“利用 NVIDIA Jetson 實現生成式 AI”網絡研討會，屆時技術專家將深入探討在此發布的新聞，包括在 Jetson 上利用  TensorRT 優化視覺 Transformer 部署 LLM 和 VLM 的加速 API 和量化方法等更多內容。