人工智慧研究能力受考驗：代理人能否進行有意義的研究？

近年來，人工智慧（AI）研究的進展迅速，許多公司如 英偉達、蘋果和谷歌都在投入大量資源發展 AI 技術。其中，Anthropic 和 OpenAI 等公司一直在推廣其模型加速 AI 研究的能力。但是一項新的實驗結果卻對此提出質疑。

實驗方法和結果

這項實驗由 普林斯頓大學 和 英國 AI 安全研究所 的研究人員共同進行。他们設計了一種新的評估方法，稱為「影子評估」（Shadow Evaluation）。在這個方法中，AI 代理人會接收到一個未發表的研究論文的核心研究問題，然後由原作者評估代理人的結果，就像會議評審人員一樣。由于結果尚未在網上發表，代理人無法依靠訓練數據。

研究人員與兩篇未發表的 NeurIPS 2026 論文的作者合作，分別探討語言模型的人格特徵如何通過權重進行調整，以及一種稱為 TabPFN 的方法，用于檢測表格預測模型何時遇到與訓練數據差異很大的部署數據從而導致準確率下降。

實驗結果顯示，AI 代理人無法進行有意義的研究。原作者對代理人提交的論文進行評審，均未通過。評審意見指出，代理人的數據和實驗動機不佳，文章內容難以閱讀，且沒有提出新的貢獻。

分析和啟示

分析代理人的日誌記錄顯示，代理人缺乏判斷力，無法區分哪些研究結果值得發表。代理人傾向於生成合理的假設，但會基於小型、人工篩選或合成數據集而放棄這些假設。此外，當初始假設被證偽時，代理人會縮小現有的主張，而不是開發新的方向。

這項研究結果對 AI 研究的未來發展有重要的啟示。雖然 AI 代理人可以處理研究工程，但它們仍然缺乏創造性問題解決和判斷力的能力。因此，人工智慧研究仍需要人類研究人員的參與和指導，以確保研究的質量和有效性。

未來展望

未來，人工智慧研究的發展將需要更多的跨領域合作和創新。研究人員需要發展新的方法和工具，以提高 AI 代理人的能力和判斷力。同時，人類研究人員也需要與 AI 代理人合作，共同推進 AI 研究的進展。通過這種合作，我們可以期待人工智慧研究在未來取得更加突破性的成就。