評測指標構成與可重複性爭議

Artificial Analysis 宣布 Intelligence Index v5 為重大升級,旨在提供更準確的模型排名。然而,該版本有 60% 的評估內容依賴私有測試集或保留答案(held-out answers)。

由於這些測試數據未公開,外部研究者無法獨立重現評測結果。這種不透明性引發社群對評測公正性與可驗證性的討論。

開放權重與閉源模型的分數差距擴大

根據官方公告,v5 版本中開放權重模型與閉源模型之間的平均分數差距從舊版的 3 分擴大至 12 分。這一變化顯示在新評測標準下,閉源模型的相對優勢被放大。

在開放權重類別中,Kimi K3.1 Pro 以 46 分居首,但官方註明其模型權重尚未發布。因此,該排名僅代表理論上的能力評估,而非可下載使用的實際狀態。

已發布權重模型的具體排名

在已發布權重的開放模型中,DeepSeek V4.1 Flash 1017 (max) 與 GLM-5.3 (max) 並列最高分,得分為 32。這比榜首 Kimi K3.1 Pro 落後 14 分,也比閉源模型 Claude Haiku 5.5 (max) 的 36 分低 4 分。

官方數據顯示,目前可實際下載並使用的開放權重模型,在該指數下的表現明顯低於部分閉源模型。

社群對排名準確性的質疑

部分 Reddit 使用者根據自身與模型的互動經驗,對 v5 排名的準確性提出疑問。有評論指出,在某些實際應用場景中,GPT-Terra-6.1 的表現似乎優於 Fable-5.1,但排名結果並未反映這種差異。

這些反饋顯示,靜態基準測試與使用者在特定任務上的主觀體驗之間可能存在落差,特別是在評測數據不公開的情況下,難以釐清差異來源。