測試設計：改變歸屬對象但不改變論點內容
研究者提出一個核心問題：當論點本身的文字內容保持不變時，僅改變其宣稱的來源身份，是否會影響大型語言模型對該論點的評估？
實驗選取了橫跨10個主題的20個論點，並設定四種來源條件進行對比：相關領域專家、不相關領域專家、非專家以及完全不標示來源。
這些論點分別由GPT-5.6 Sol、Claude Opus 5.5、Gemini 4 Argon和DeepSeek Flash四個模型進行評估，評分維度包括邏輯性、可信度、說服力與同意度。
主要發現：無關專家的背書反而扣分
數據顯示，「可信度」是受來源歸屬影響最顯著的評估維度，其波動程度遠高於邏輯性或同意度。
值得注意的是，模型並未單純呈現對專家身份的偏好或加分效應。相反地，多數模型出現了「無關專家的懲罰效應」。
具體而言，當論點被歸因於一個在完全不相關領域被標榜為專家的人時，模型給予的可信度評分甚至低於完全沒有標示來源的情況。
統計限制與未證實的關聯
研究也嘗試探討論點本身的強弱是否會改變來源效應的影響程度，但經過統計校正後，這些交互作用的結果並不具備穩健性。
由於用於驗證強弱論點的人工標註過程存在不完美之處，研究者將這部分發現定義為探索性質，而非確定的結論。
此外，「同意度」這一維度相對較不容易受到來源歸屬的影響，顯示模型在判斷是否認同觀點時，可能更依賴內容本身而非來源身份。
對LLM評估偏見的定義爭議
該研究目前僅為預印本（Preprint），尚未經過同儕審查，作者公開徵求對實驗設計與結果解讀的批評意見。
作者提出一個開放性問題供社群討論：當來源的專業領域確實相關時，LLM評估器對來源的敏感度是否應被視為一種偏見？
或者，真正的問題僅在於模型過度權衡了不相關的權威身份，導致在無關情境下產生誤判？
