身份解析的挑戰與自動化評測需求

身份解析（Identity Resolution, IDR）旨在將分散的數據記錄映射到現實世界中的單一真實人物，這是進行客戶個人化行銷與分析基礎設施的關鍵環節。然而，由於資料中存在拼寫錯誤、地址變更、暱稱使用或欄位空白等雜訊，自動合併記錄時容易發生「過度合併」（over-merging），即錯誤地將不同人的資料歸併為同一個身份。

傳統上，驗證 IDR 演算法的準確度需要人工抽樣檢查，過程緩慢且統計上難以精確估計罕見的錯誤率。若大型語言模型（LLM）能模擬人類審核員判斷記錄是否屬於同一人，便可大幅加速評測流程並降低維護成本。

決策模型與高階模型的基準測試表現

研究團隊使用來自華盛頓大學的 pseudopeople 工具生成模擬數據，構建了包含正常記錄與過度合併案例的測試集。測試對象包括 Claude Opus 5.5、Gemini 3.1 Pro、GPT-6 Sol 等高階模型，以及 Jev 和 GPT-6 Luna 這類專門輸出信心分數的決策模型。

在較簡單的測試集中，高階模型的準確率維持在 98.3% 至 99.0% 之間，而決策模型 Luna 達到 97.3%，Jev 為 95.6%。雖然決策模型的速度快上十倍以上且成本低數十倍（每千筆僅需 0.05 至 0.10 美元），但在處理困難案例時，其準確率明顯落後高階模型約 6 個百分點。

信心校準差異影響混合架構效能

分析錯誤案例發現，Jev 的信心分數校準較佳，其多數錯誤發生在接近 50% 的低信心區間；相反地，Luna 表現出過度自信，即使在判斷錯誤時仍給出高信心分數。這種差異使得 Jev 更適合作為混合架構中的第一道篩選器，因為它能準確識別出不確定案例並轉交給高階模型處理。

當測試難度增加（如包含雙胞胎、同名同姓或關鍵欄位拼寫錯誤的複雜案例）時，Luna 的過度自信導致其在混合架構中無法有效過濾簡單案例，反而需要轉交更多案例給 Opus，或者因誤判而降低整體準確率。Jev 則能動態調整轉交比例，在維持高準確率的同時控制成本。

混合策略的成本效益分析

研究提出一種兩階段評估流程：先由低成本模型（Jev 或 Luna）進行初步判斷，僅將信心分數落在特定區間（例如 Jev 的 30-90%）的案例轉交給 Claude Opus 進行最終裁決。這種方法利用了決策模型的篩選能力，避免對所有數據都使用昂貴的高階模型。

在困難測試集中，採用「Jev 初篩 + Opus 複核」的混合策略達到 95.3% 的準確率，每千筆處理成本為 2.94 美元；相比之下，單獨使用 Opus 的準確率為 95.1%，成本為 5.39 美元。雖然混合 Luna 的成本更低（1.15 美元），但其準確率僅為 91.6%，顯示過度自信會嚴重影響系統在複雜場景下的可靠性。