核心重點
AWS 於 SageMaker 上提供 Deepgram 語音 AI（包括語音轉文字 STT 與文字轉語音 TTS）之本地化部署，讓音訊與文字稿全程留在使用者自有的 AWS 帳號內。此方式同時保留 SageMaker 的受控部署、彈性擴縮與自動監控功能，並解決以往自行托管語音 AI 時觀測資訊被供應商封鎖的痛點。
背景與技術細節
傳統的自建語音 AI 系統往往只能得到「端點是否存活」與「請求量」等基本指標，計費細項、功能使用情況 以及 GPU 推論行為 均隱藏在供應商的容器內，難以支援資料居留（data residency）與合規需求。
Deepgram 把模型打包成 AWS Marketplace 的模型套件，部署為 SageMaker 的即時端點。透過 SageMaker 內建的 CloudWatch 監控，使用者可即時取得：
- ConcurrentRequestsPerModel（同時請求數）
- FirstChunkLatency（首段延遲）
- 容器日誌（於 CloudWatch Logs）
此外，AWS Marketplace 的模型套件採用 網路隔離（container cannot make outbound connections），確保安全性，但也讓外部遙測變得困難。Deepgram 針對此限制，推出兩項 Enhanced Metrics（加強指標）功能，直接將計費與使用情形寫入使用者自己的 CloudWatch，無需容器開啟任何外部連線。
值得注意的是，SageMaker 本身亦提供 Enhanced Metrics（啟用 EnableEnhancedMetrics），可顯示每個實例與 GPU 的資源利用率。這與 Deepgram 針對計費與功能使用的 Deepgram Enhanced Metrics 並行運作，互為補足。
影響與未來展望
- 合規與資料主權：音訊與文字稿不會離開客戶的 AWS 帳號，符合金融、醫療等高敏感度產業的資料居留規範。
- 成本可視化：即時觀測每項功能的計費細項，讓容量規劃與成本管理更精準。
- 安全與可觀測性兼得：在保持容器網路隔離的前提下，仍能取得完整的運行指標，降低因資訊不透明導致的風險。
未來，若 AWS 持續擴充 SageMaker 的觀測維度，結合 Deepgram 的專屬指標，企業將能在 雲端 AI 與 本地合規 之間取得更佳的平衡。對於想在自有環境中快速部署高效語音 AI 的公司而言，這項整合方案已成為值得關注的關鍵選項。