核心概念
編碼代理（coding agent）可以從單張照片自動產生可編輯的 3D 場景。它的工作流程是「Image‑to‑Code」：先接收一張影像，接著為開源 3D 軟體 Blender 產生程式碼，執行、觀察結果，再不斷修正，直到產出的場景與原圖相符。因為最終交付的是程式碼，物件、幾何形狀、佈局與相機位置皆以明確的參數呈現，使用者得以直接檢查、修改或查詢。
背景與技術細節
單張照片的 3D 重建若只能得到點雲或深度圖，往往缺乏可操作性。馬里蘭大學與 AWS 合作的 LEGO‑Anything 計畫，正是要把重建結果變成「可執行程式」——讓設計師像編寫一般程式一樣，對場景進行微調。
為了評估此方法的實際效能，研究團隊打造了 LEGO‑Bench 基準。基準包含 208 張來自 104 個室內與室外場景的影像，使用 443 個已註冊的 3D 資產。這些影像是從專業建置的模擬環境中渲染而出，外觀自然，但底層的幾何資訊、深度與物件對應則隱藏，作為自動評分的答案鍵。基準的設計兼顧了 真實感（自然光照與相機設定）與 可量測性（精確的幾何真值）。
基準測試與結果
LEGO‑Bench 以三個維度評分：
- 有效性（Validity）——是否成功交付可執行的場景檔案。
- 重建精度（Reconstruction）——可見幾何與真實模型的吻合程度。
- 外觀相似度（Appearance）——將提交的場景重新渲染，與原始影像逐像素比較。
六種 GPT 配置幾乎每次都能產出可用的場景，但 幾何精度 差異極大。表現最佳的 GPT‑6 Astra 在室內場景取得 53.4% 的精度，室外則為 39.6%；較弱的配置僅約 15%。場景越複雜、或是戶外環境，精度下降越明顯。當研究人員提升模型的推理資源（reasoning budget），GPT‑6 系列的表現顯著提升，Astra 在辦公室子集的分數從 32.3% 跳升至 61.8%。
挑戰與未來方向
分析代理的工作步驟後，研究者發現三大瓶頸：
-
初始嘗試品質低——第一輪產出的程式碼常缺乏基本幾何。
-
修正過程退步——後續迭代有時會撤銷先前的正確改進。
-
自我評估不可靠——當模型必須在兩個版本間選擇較佳者時，其幾何判斷的正確率接近或低於機率水平，等於「無法自我判斷改進」。
最後一點最具啟示性：精細的場景優化必須依賴具體的測量指標（例如深度誤差、法線一致性），而非僅靠模型的主觀判斷。未來的研究方向可能包括：引入自動化的幾何驗證工具、結合多視角或結構光資訊以提升初始估計的可靠度，或是設計更具「可解釋性」的迭代回饋機制，使編碼代理在每一步都能得到明確的數值指引。
結語：從單張照片自動生成可編輯的 3D 場景已不再是科幻，而是透過「Image‑to‑Code」與程式化的迭代流程逐步落實。儘管目前在自評與幾何精度上仍有顯著挑戰，LEGO‑Bench 為研究社群提供了可量化的測試平台，預示著未來 AI 生成 3D 內容將更趨於「可檢視、可修改、可驗證」的實用階段。對於設計師、遊戲開發者與 AR/VR 內容創作者而言，這項技術有望大幅縮短原型製作時間，並開啟全新創意工作流。