輸出結果與人類理解的對立

近期關於 AI 在科學領域應用的討論，往往陷入「追求可驗證答案」與「重視人類理解」的兩極化爭論。一方認為進步體現於解決長期猜想或疾病治療的可驗證證明，無論是否有人類參與；另一方則主張人類理解對於將新發現整合進知識體系、啟發下一代研究者至關重要。

數學家 Terry Tao 曾提出一個思想實驗：如果 AI 提供了一種經過形式化正確性認證並通過第三期臨床試驗的癌症療法，但沒有人類理解其原理，人們是否願意接受？批評者認為這忽略了重點，因為晚期癌症患者當然會歡迎這種治療。然而，Hullman 指出，這類情境的真正風險在於 AI 可能利用了試驗本身的弱點而通過測試，或者當主張失敗時，無人能解釋其依據。

當支持者不質疑「輸出結果」與「理解」的分離時，便容易將理解貶低為次要的附加條件。這種表層框架掩蓋了深層的擔憂：這些問題並非關於個人的心理狀態，而是關於當事物出錯時會發生什麼。若作者無法解釋其主張，當主張受到挑戰時，便無人可諮詢或負責。

「價值中立理想」的歷史根源與影響

認為科學價值僅在於正確性的直覺，並非單純源於對 AI 的看法，而是源自冷戰時期形成的「價值中立理想」。這種觀點主張只有認知標準（而非倫理或社會價值）才應用於判斷證據所顯示的內容。在過去幾十年間，拒絕這種理想已成為科學哲學的主流，但其影響仍滲透於關於 AI 輔助科學的辯論中。

戰後美國建立的科學社會契約，將純粹科學與應用科學區分開來，並透過線性模型強調基礎研究對應用工作的貢獻。為了獲得公眾支持與政府投資，科學被想像為一種不受政治或社會壓力影響的非人格化方法應用。這種敘事幫助確立了科學必須脫離「脈絡價值」的理想，導致人們認為只要程序正確，誰提出主張並不重要。

這種理想助長了不切實際的期望，使人們忽視對 AI 輸出快速滲入科學記錄的反對意見並非反 AI 或反科學。它扭曲了我們追求真理的方式，將批評與問責視為不便的額外負擔，而非知識生產的機制。

數學中的價值判斷與「自然對齊」前提

數學家 Bill Thurston 曾指出，數學研究的成功標準在於能否讓人們更清晰有效地思考數學。然而，當前的「AI for science」論述繼承了一種「科學是自然對齊的」前提，認為透過大規模執行科學方法及其驗證程序，我們可以達到不再需要人類判斷來產生真理的境界。

現代科學哲學家大多拒絕價值中立理想，因為接受或拒絕假設取決於我們如何權衡後果。即使在數學等抽象領域，可能的真理數量龐大，必須依靠價值觀來篩選。數學家早已承認機器原則上可以列舉所有可證明的定理，但空間規模巨大，人們必須尋找捷徑。

並非所有定理對人類同等有趣。費馬最後定理之所以受到關注，是因為費馬聲稱有證明但未提供，且後來被證明與模性猜想有關，揭示了數學不同領域間的意外聯繫。該定理在經過同行評審發現錯誤並修正後即被視為解決，儘管形式化驗證直到近期才完成。認知品味是在選擇問題、追求某些問題並觀察哪些能帶來新理解的過程中發展出來的能力。

若由 AI 接管問題選擇，我們可能失去驅動科學家發展判斷力的個人成就感與社群合作。Tao 將開放問題比喻為燈塔而非目的地，過早透過 AI 到達這些問題可能會使周圍的領域變得單調乏味。如果我們停止培養能判斷什麼有趣且符合人類抱負的人，最終可能得到無法服務基本人類利益的科學。

社會性並非理性的污染：知識生產的互動本質

有一種傾向將科學的社會層面視為與理性對立，認為社會因素會產生壞的慣例或從眾行為。然而，我們所知的科學知識一直是許多認知代理者運用價值與專業知識、並回應挑戰而修訂觀點的產品，而非來自外部驗證引擎。

哲學家 Helen Longino 論證，客觀公共知識的基礎是共享語言以及相信事物獨立於感知存在的信念。若能就世界的描述達成共識，我們便能依賴他人的經驗來獲取知識，並有意義地批評科學主張。科學社群發展出的標準與詞彙，使我們無需事事親身驗證，有時依賴他人的發現甚至比自行調查更有根據。

沒有批評就沒有客觀性。Longino 指出，客觀性取決於科學社群中發生的變革性詰問的深度與範圍。為了讓批評具有變革性，必須有人有義務承擔它。同行評審與出版後批評不僅是事實檢查，更是社群成員相互要求履行主張所隱含的承諾，並協商個人偏好影響邊界的過程。

方法本身最好被理解為一種社會過程，進步取決於社群維持批判對話的能力。這種對話塑造了其中的人們，定義了他們如何理解與行使判斷力，以及它所產生的知識。

主張真理的社會行為與問責缺失

認為只要結果正確，誰提出並不重要的觀點，對應於哲學中的可靠主義認識論。古典認識論堅持，只有當信仰者能為其信念提供理由時，真實信念才是知識。可靠主義則認為，即使無法提供正當化理由，只要透過在該情況下可靠產生真實信念的能力獲得信念，仍可構成知識。

然而，可靠性有其極限。哲學家 Robert Brandom 想像了一個社群，成員透過可靠手段持有真實信念但無法提供任何理由。由於將可靠性歸因於來源本身就是一種基於推論的正當化，該社群無法知道自己是可靠的。他們如同指示周圍環境的儀器，但無法認識自己作為儀器的身份，因此無法擁有知識。

Brandom 認為，稱某物為知識是一種社會行為。要稱某人擁有「知識」，我們必須歸因給他們承諾（相信該事物）以及對該信念的資格（它是正當化的），同時我們自己也必須承擔這種承諾，即認可該信念。最初主張該結果的科學家允許我們重複該主張並從中得出結論，同時由他們負責在受到挑戰時進行辯護。

當我們依賴不理解 AI 結果時，只能轉向掛名的人。這正是 arXiv 面臨的問題：沒有作者能對他們無法理解的事物負責，因此無法回應批評說明其依據或是否應撤回。換言之，形式上的作者身份存續，但實質的作者身份弱化。我們失去了進行變革性批評的潛力，而這是維持「客觀」結果概念的基礎。

AI 作為認知代理人的挑戰與人類能力的流失

一個自然的問題是能否將批評直接指向 AI 代理人，讓它決定是否辯護或承認並修正結果。這要求 AI 成為能夠對其主張做出承諾的認知代理人。然而，目前的 AI 缺乏我們歸因於人類的持續性與身份。在一個會話中撤回主張的代理者，沒有義務在下一個會話中維持其更正或背後的推理。

科學知識生產依賴有利害關係的認知代理者。做出壞的主張會改變科學家社群中的地位，這是信任個人得以校準的方式。目前尚不清楚 AI 代理者在撤回主張時面臨什麼樣的損失，特別是考慮到其缺乏持續性。要克服這些限制，需要大幅轉變 AI 開發方向：從每次交換中最大化幫助，轉向跨交換的問責性。

即使我們成功開發出能對主張負責的代理者，這也只是問責要求的一半。我們還需要其他人能夠透過要求證據、質疑假設、識別迴避性回答來追究它們的責任。對他人主張的認可，僅取決於我們參與所認可內容的能力。

這些能力是透過實踐建立的：選擇問題、辯護工作、審查論文、挑戰他人的結果。當我們不練習這些能力時，就會失去它們。如果沒有人能判斷 AI 答案的好壞，一個完全問責的 AI 對我們來說沒有意義。我們將擁有理論上的真理追求，但沒有人能夠執行它。Thurston 的概念指向這種共同詰問、擴展與修復領域知識的能力。驗證可以告訴我們結果在技術上檢查通過，但只有一個準備好為其背書的人類社群才能將其轉化為知識。