語言模型能否引發科學革命？

語言模型能否引發科學革命？

語言模型是否能夠引發科學革命？這是一個值得探討的問題。谷歌Deepmind的研究員Tom Zahavy在他的論文《LLMs無法跳躍》中認為，語言模型缺乏創造真正新事物所需的認知機制。

Zahavy的論點基於阿爾伯特·愛因斯坦在給他朋友莫里斯·索羅文的一封信中所闡述的框架。愛因斯坦認為，發現是一個循環過程：感官經驗導致直覺的「跳躍」到公理，而從公理中，邏輯推導產生可測試的結論。公理是理論的未經證實的基礎假設。

為了確定語言模型的缺陷在哪裡，Zahavy引用了查爾斯·桑德斯·皮爾斯的經典區分。皮爾斯將所有推理分為三類：根據規則、案例和結果的連接方式進行區分。演繹是從固定的規則中推導出保證的結論，例如運行一個程序以產生一個可證明正確的輸出。歸納是從數據中發現模式：觀察一千只白天鵝，你可以推廣為所有天鵝都是白色的。溯因是創造性的跳躍，它為一個令人驚訝的現象發明了一個解釋。

Zahavy認為，這第三種形式是語言模型的瓶頸所在。他將溯因分為兩個層次。普通的溯因是從一組已知的候選中選擇最合理的解釋，例如醫生根據症狀診斷疾病。語言模型可以做到這一點，Zahavy承認。更困難的版本是他所謂的「操作性溯因」：為一個尚未有語言模板的原因發明一個解釋。這，他認為，是科學發明的真正瓶頸，而機器無法做到。

語言模型的限制

歸納和演繹，論文認為，已經在語言模型的掌握之中。語言模型已經在統計模式識別方面取得了卓越的成績，它們也正在迅速征服正式推導。像AlphaProof、Gemini和GPT-5這樣的系統現在已經在國際數學奧林匹克問題上取得了金級成績。Zahavy甚至承認，一個語言模型可能如果給定愛因斯坦的假設作為起點，可能會推導出廣義相對論。但是，最初形成這些假設，進行操作性溯因的跳躍，仍然是瓶頸。

為什麼機器難以完成這個跳躍，Zahavy用愛因斯坦的理論來說明：人工智能模型通常通過比較預測和實際結果之間的差距來學習，並根據差距進行調整。如果沒有可檢測的差距，系統就無法工作。當愛因斯坦工作時，沒有數據危機。牛頓的物理學已經被以極高的精度證實。唯一已知的異常是一個小的水星軌道偏移，被歸因於一個假設的隱藏行星「伏爾甘」。一個優化驅動的AI將沒有理由推翻物理學，Zahavy認為。按照論點的邏輯，它將會做出當時的天文學家所做的事情：發明一個額外的行星來解釋小的差異，而不是重新思考物理學。

未來展望

語言模型雖然在很多方面取得了巨大的進步，但是它們仍然缺乏創造真正新事物所需的認知機制。未來的研究方向可能是如何讓語言模型擁有操作性溯因的能力，從而真正引發科學革命。