英偉達推出開源個人 AI 路由器（PAIR） 打造家庭分散式推理叢集
Nvidia 於 9 月 3 日正式釋出 Personal AI Router（PAIR） 測試版，目標是解決本機 AI 代理在同時啟動多個子代理時，GPU 推理佇列被塞滿的瓶頸。透過將區域網路內的 Mac、PC 等裝置串聯成「個人 AI 叢集」，使用者可以在家中利用閒置運算資源，降低單一主機的負載，同時保持資料本機隱私。
背景與技術分析
隨著本機 AI 代理（AI Agents）功能日益複雜，主代理往往會同時呼叫多個子代理，瞬間產生大量獨立的推理請求。這些請求若全部集中在同一台配備 Nvidia GeForce RTX 20 系列以上或 Apple M4 以上晶片的機器上，GPU 計算佇列容易出現阻塞，導致回應延遲甚至系統卡頓。
PAIR 以 虛擬推理路由器 的概念，於不改變原有代理程式架構的前提下，自動將每筆獨立請求指派給區網內其他有空閒資源的相容節點。其核心機制包括：
- mDNS 自動探索：即時偵測同一子網路內支援的裝置。
- 6 位數 PIN 碼配對：首次連線時建立信任關係。
- 雙向憑證（mTLS）：使用相互 TLS 加密，確保節點間通訊的安全與私密。
- 工作負載層級並行：不必將單一模型切割至多張顯卡，而是把完整的推理任務交給最適合的節點執行。
支援作業系統涵蓋 Windows、Linux 與 macOS，兼容常見的本機推理引擎如 Ollama 與 LM Studio。硬體方面，只要配備 Nvidia RTX PRO 工作站顯卡、DGX Spark，或是 Apple M4 以上晶片的 Mac，即可加入叢集。
未來展望與讀者啟示
PAIR 的動態加入與退出機制，使得家庭或小型辦公室的硬體資源可以彈性調度。當使用者在主機上執行高互動性的工作（如遊戲）時，推理任務會自動轉移至閒置節點，避免相互干擾。對於追求高效運算且重視資料本機隱私的進階 AI 使用者而言，這代表不必再投入昂貴的資料中心，即可在自家環境構建高效能 AI 計算網路。
未來，若 Nvidia 持續擴充相容設備清單與支援的推理框架，PAIR 有望成為「家庭 AI 超級電腦」的基礎建設，讓更多開發者與創作者得以在本機環境中自由探索大型語言模型與生成式 AI 的可能性。讀者若手上已有符合條件的硬體，不妨下載測試版，親自體驗分散式推理所帶來的效能提升。