實驗設計排除 AI 生成圖說的資訊洩漏疑慮

原論文提出「良好視角」（即同一張照片的兩張不同圖說）比「不良視角」（單張圖說並遮蔽部分詞彙）或預測下一個字更能讓文字模型快速對齊影像模型。然而，原論文最大規模的實驗使用了由影像描述器生成的圖說，這可能導致影像資訊透過生成過程洩漏到文字資料中。

為了驗證此現象是否僅因 AI 生成資料而產生，研究者進行了一項筆記型電腦規模的測試，嚴格限制僅使用人類撰寫的圖說。數據集採用 COCO 資料集中的 10,000 張照片，每張照片配有 5 張由人類標註者看著照片撰寫的圖說，其中 8,000 張用於訓練、1,000 張驗證、1,000 張測試。

影像端特徵提取使用凍結參數的 DINOv2-base 模型，僅在訓練前一次性嵌入。文字端則統一使用一個 4 層、寬度 256 的編碼器，總參數量為 1,100 萬。三種實驗方法僅在訓練配對的方式上有所不同，文字模型在訓練過程中從未直接接觸影像數據。

多張人類圖說顯著提升特徵對齊速度

評估指標為測試集 1,000 張照片上，文字嵌入與 DINOv2 影像嵌入之間的互近鄰（mutual 10-NN）分數，隨機猜測的基準值為 0.010。實驗結果顯示，使用兩張不同人類圖說作為正樣本的「良好視角」方法，平均得分為 0.320。

相比之下，僅使用單張圖說並遮蔽部分詞彙的「不良視角」方法得分為 0.192，而傳統的預測下一個字方法得分最低，僅為 0.148。這些數據基於 3 個隨機種子的平均值，且在相同的學習速度下進行比較。

為了確保公平性，每種方法都進行了小範圍的學習率搜尋。在最佳學習率設定下（單一種子），三種方法的得分分別為 0.328、0.196 和 0.168，排名順序與平均結果一致，顯示「良好視角」優勢並非僅由超參數調優差異造成。

檢索任務差距較小且受限於實驗規模

除了特徵對齊分數外，研究者也評估了檢索性能（R@1），透過擬合一個旋轉矩陣來計算。結果顯示三種方法在檢索任務上的差距較小：「良好視角」為 0.084、「不良視角」為 0.063、預測下一個字為 0.057。

值得注意的是，預測下一個字方法的最佳學習速度落在搜尋範圍的上限，這意味著若擴大搜尋範圍，該方法在檢索任務上的表現可能會進一步提升，從而縮小與其他方法的差距。

此實驗存在明顯的限制：參數量僅為 1,100 萬，訓練圖片僅 8,000 張，遠低於原論文的 1.09 億或 720 億參數規模。此外，「良好視角」方法依賴標註者知道哪些圖說描述同一張照片，這在實際大規模數據採集中可能需要額外的人工協調成本。

未來驗證方向與代碼公開

研究者指出，目前無法在筆記型電腦上測試當文字編碼器參數規模擴大時，三種方法之間的差距是否會縮小。這是該實驗未能回答的關鍵問題，也是後續研究可能需要關注的方向。

所有代碼、圖表與每次運行的詳細結果已發布於 GitHub 倉庫（IFAKA/platonic-lab），供社群驗證與進一步探索。研究者特別說明，在初步搜尋後額外增加了一個學習率步驟，此調整已在倉庫中標註。